模仿學習透過期望行為的例子訓練機器人。強化學習透過策略行動或探索過程中收集的獎勵回饋進行訓練。實際選擇取決於是否提供專家展示、可信的獎勵、廉價重置和安全探索。
這兩種方法都不會自動生成可部署的機器人策略。模仿可能複製狹窄的展示，並在小錯誤後失敗。強化學習可能利用獎勵漏洞或需要大量經驗。許多有效的工作流程從展示中預訓練，在模擬中改進，並在硬體上謹慎適應。
請將此比較與 機器人資料工廠 和 模擬到現實遷移故障指南進行比較。硬體學習需要針對特定任務的監督、限制和合格的安全審查。
模仿學習始於專家行為分佈
行為克隆透過展示將觀察對映到行動。它可以學習複雜的操作，而無需明確的分析控制或獎勵。其質量受限於專家展示的內容及其操作的一致性。
當所學策略犯下小錯誤時，可能會影響到未曾參與示範的州，從而加劇錯誤。收集恢復資料、多樣化方法和糾正資料，而不僅僅是乾淨的名義軌跡。
強化學習從獎勵和互動迴圈開始
MuJoCo Playground 提供了開放式機器人學習環境，展示了大規模基於模擬的強化學習。策略會取樣動作、觀察轉變並調整以最大化定義收益。
獎勵必須編碼任務進度，不能允許捷徑。探索消耗重置，可能產生影響或不安全狀態。模擬、約束和課程降低成本，但不消除現實缺口驗證。
學習訊號決定了首先嚐試的方法
當專家能夠展示任務且自動成功回饋較弱時，使用模仿。當結果可以反覆評分且探索成本低廉時，使用強化學習。當展示提供安全的起始分佈並獎勵提升表現時，使用混合學習。
選擇可能因層而異。語意規劃器可能透過展示學習，而運動控制器則使用模擬強化學習。在比較演算法前，先定義觀察介面和動作介面。
| 狀況 | 模仿學習 | 強化學習 | 可能的順序 |
|---|---|---|---|
| 專家資料強有力 | 直接有用 | 可以初始化策略 | 先模仿再精煉 |
| 清晰且可自動計算的獎勵 | 可選 | 強貼合 | 帶基線的強化學習 |
| 不安全探險 | 更安全的初始路徑 | 需求模擬器或約束 | 先模仿 |
| 稀少的成功 | 需要成功的例子 | 信用分配困難 | 展示輔助 RL |
| 需要新穎的最優方案 | 受限於示例 | 可以超過展示 | 混合體，獎勵謹慎 |
展示質量比原始小時數更重要
專家資料應涵蓋物件、接近點、接觸點、故障和恢復。介面延遲和操作員視角塑造運動。混合專家可能產生衝突的風格或有用的多樣性，具體取決於上下文的標籤方式。
測量事件結果和動作一致性。加權或過濾應可追溯。如果機器人能夠自主執行，應透過保護性介入或迭代資料聚合，從自身錯誤產生的狀態中收集資料。
獎勵設計可以製造令人信服但錯誤的行為
獎勵是真實目標的代理。機器人可能在破壞物體時移動得很快，懸停在目標附近卻未完成任務，或者利用模擬器中的偽影。檢查軌跡和故障模式，而不僅僅是累計回報。
分解獎勵術語，跟蹤其量表並測試對抗情境。優先採用與已驗證任務完成度相對應的結果衡量。受限或安全意識培訓仍需獨立的保護控制。
線下學習和線上探索存在不同的風險
離線模仿或強化學習使用固定資料，避免新硬體探索，但無法恢復資料集中缺失的資訊。分佈偏移使價值估計或動作選擇變得不可靠。
線上學習可以收集有針對性的經驗，但會改變操作策略。使用影子測試、模擬、有界參數更新和回復。生產機器人不應成為無控實驗。
模擬改變的是成本，而不是證據的邊界
並行環境使強化學習在接觸、運動和靈巧度方面變得實用。域隨機化和系統辨識可以提升遷移能力。模擬器獎勵和物理錯誤也能教授在真實感測器或硬體上失敗的策略。
在模擬條件下進行評估，然後透過軟體在環、硬體在環和受保護機器人試驗中進行。實際任務成功、介入、熱、磨損和安全仍然是決定性因素。
| 評價 | 模仿風險 | 強化風險 | 所需證據 |
|---|---|---|---|
| 被擱置的回合 | 近重複洩漏 | 獎勵過擬合 | 按組劃分資料 |
| 擾動 | 複合誤差 | 脆性最優 | 恢復試驗 |
| 模擬傳輸 | 缺少具體細節 | 利用模擬物理漏洞 | 實校正 |
| 硬體接觸 | 專家覆蓋缺口 | 不安全探險 | 受控試驗 |
| 長期營運 | 漂移與例外情況 | 策略不穩定 | 營運指標 |
策略架構並不能決定方法的選擇
變換器、擴散策略和迴圈網路可以透過模仿、強化目標或兩者兼用來訓練。模型容量會影響資料需求和延遲，但學習訊號和評估設計仍決定哪些行為被強化。
比較具有相同觀測、動作、任務分工和機器人限制的演算法。包含推論時序和控制器介面。如果策略錯過硬體控制截止時間，離線分數越高就無關緊要。
混合工作流程應有明確的交接標準
常見的順序包括展示預訓練、模擬微調、受限硬體適配和定期資料更新。每個階段應說明輸入的資料、獎勵和策略版本，以及允許進展的證據。
防止評估資料逆流到訓練中。保持簡單的指令碼化或模仿基線。如果強化學習提升了某項指標，而導致介入、穩定性或能量下降，釋放決策應反映整個任務。
最終選擇屬於任務級試驗
衡量所需變化、恢復、介入、週期時間、力、能量和硬體應力的驗證成功情況。測試未見物體和起始狀態。報告分母和信心，而非選定影片。
選擇最簡單的方法，滿足證據閾值。混合方法並不自動更好；它增加了資料和除錯的複雜性。保留回復並監控部署的分發是否發生變化。
評估“機器人模仿學習與強化學習：何時選擇哪一種”時，還應儲存模型版本、機器人設定、校正檔案、測試日期和全部試驗記錄。
只有把這些持續投入與單位成功任務的價值比較，才能判斷方案是否適合擴大。
上線後仍要持續檢查分佈變化、感測器漂移、機械磨損和人工接管原因。
實際專案還應指定資料、模型、控制器和安全流程的負責人，並預先定義回復條件。責任邊界、審批記錄與變更紀錄越清楚，故障發生後越容易停止擴散、定位原因並安全恢復。
把任務拆成感知、決策、動作執行和結果確認，可以更準確地定位瓶頸。每一階段都應有獨立指標與失敗示例，避免用端對端成功率掩蓋偶發但嚴重的風險。
引用的產品規格、論文結果和監管要求需要記錄釋出日期與適用版本。資料更新後應重新核對關鍵結論；無法從一手來源確認的內容，應明確標註為待驗證資訊。
小規模試點的價值在於提前暴露介面、人員協作和異常處理問題。試點結束後應依據預設門檻決定擴大、修改或停止，而不是因為已經投入資源就預設繼續。
所有結論都應能夠追溯到原始記錄，並可複核。
介面定義變化時，舊資料和舊控制參數不能在未經驗證的情況下直接複用。
異常測試應覆蓋斷電、通訊丟失、感測器失真、物件滑移和人員進入工作區等情形。系統不僅要發現異常，還應以可預測的方式減速、停止或請求人工確認。
- 請定義任務、觀察、行動和成功。
- 審計展示和獎勵漏洞。
- 透過模擬和防護措施進行受限探索。
- 使用保持和擾動評估。
- 僅在代表性硬體試用後釋出。
常見問題
模仿學習是監督學習嗎？
行為克隆通常是透過觀察-行動例子進行監督學習，儘管更廣泛的模仿方法也可以使用對抗性或反向獎勵目標。
強化學習能在沒有展示的情況下奏效嗎？
當獎勵、探索和重置實用時是可以的，但展示往往加速了稀疏或高風險的機器人任務。
為什麼模仿學習會在小錯誤後失敗？
該策略可能輸入專家資料中未顯示的狀態，導致錯誤累積。恢復資料和迭代收集幫助。
為什麼要在模擬中訓練強化學習？
模擬允許大規模探索和重置而不損壞硬體，但所學策略仍需真實世界的傳輸驗證。
這兩種方法應何時結合使用？
當示範提供了有用的安全啟動策略和獎勵引導的互動時，結合它們在受控條件下提升效能。
學習方法說明
機器人學習可能會在訓練分佈之外產生意外動作。使用獨立限制、監控試驗、回復和任務特定安全工程；模型訓練結果不能證明機器人系統安全。