模仿學習透過期望行為的例子訓練機器人。強化學習透過策略行動或探索過程中收集的獎勵回饋進行訓練。實際選擇取決於是否提供專家展示、可信的獎勵、廉價重置和安全探索。
這兩種方法都不會自動生成可部署的機器人策略。模仿可能複製狹窄的展示，並在小錯誤後失敗。強化學習可能利用獎勵漏洞或需要大量經驗。許多有效的工作流程從展示中預訓練，在模擬中改進，並在硬體上謹慎適應。
請將此比較與 機器人資料工廠 和 模擬到現實遷移故障指南進行比較。硬體學習需要針對特定任務的監督、限制和合格的安全審查。
模仿學習始於專家行為分佈
行為克隆透過展示將觀察對映到行動。它可以學習複雜的操作，而無需明確的分析控制或獎勵。其質量受限於專家展示的內容及其操作的一致性。
當所學策略犯下小錯誤時，可能進入示範資料未涵蓋的狀態，並使錯誤不斷累積。收集恢復資料、多樣化方法和糾正資料，而不僅僅是乾淨的名義軌跡。
強化學習從獎勵和互動迴圈開始
MuJoCo Playground 提供了開放式機器人學習環境，展示了大規模基於模擬的強化學習。策略會取樣動作、觀察轉變並調整以最大化定義收益。
獎勵必須編碼任務進度，不能允許捷徑。探索消耗重置，可能產生影響或不安全狀態。模擬、約束和課程降低成本，但不消除現實缺口驗證。
學習訊號決定了首先嚐試的方法
當專家能夠展示任務且自動成功回饋較弱時，使用模仿。當結果可以反覆評分且探索成本低廉時，使用強化學習。當展示提供安全的起始分佈並獎勵提升表現時，使用混合學習。
選擇可能因層而異。語意規劃器可能透過展示學習，而運動控制器則使用模擬強化學習。在比較演算法前，先定義觀察介面和動作介面。
| 狀況 | 模仿學習 | 強化學習 | 可能的順序 |
|---|---|---|---|
| 專家資料強有力 | 直接有用 | 可以初始化策略 | 先模仿再精煉 |
| 清晰且可自動計算的獎勵 | 可選 | 強貼合 | 帶基線的強化學習 |
| 不安全探索 | 更安全的初始路徑 | 需求模擬器或約束 | 先模仿 |
| 稀少的成功 | 需要成功的例子 | 獎勵歸因困難 | 展示輔助 RL |
| 需要新穎的最優方案 | 受限於示例 | 可以超過展示 | 混合體，獎勵謹慎 |
展示質量比原始小時數更重要
專家資料應涵蓋物件、接近點、接觸點、故障和恢復。介面延遲和操作員視角塑造運動。混合專家可能產生衝突的風格或有用的多樣性，具體取決於上下文的標籤方式。
測量事件結果和動作一致性。加權或過濾應可追溯。如果機器人能夠自主執行，應透過保護性介入或迭代資料聚合，從自身錯誤產生的狀態中收集資料。
獎勵設計可以製造令人信服但錯誤的行為
獎勵是真實目標的代理。機器人可能在破壞物體時移動得很快，懸停在目標附近卻未完成任務，或者利用模擬器中的偽影。檢查軌跡和故障模式，而不僅僅是累計回報。
分解獎勵項，追蹤其尺度並測試對抗情境。優先採用與已驗證任務完成度相對應的結果衡量。受限或安全意識培訓仍需獨立的保護控制。
線下學習和線上探索存在不同的風險
離線模仿或強化學習使用固定資料，避免新硬體探索，但無法恢復資料集中缺失的資訊。分佈偏移使價值估計或動作選擇變得不可靠。
線上學習可以收集有針對性的經驗，但會改變操作策略。使用影子測試、模擬、有界參數更新和回滾。生產機器人不應成為無控實驗。
模擬改變的是成本，而不是證據的邊界
並行環境使強化學習在接觸、運動和靈巧度方面變得實用。域隨機化和系統辨識可以提升遷移能力。模擬器獎勵和物理錯誤也能教授在真實感測器或硬體上失敗的策略。
先在留出的模擬器條件下評估，再依序進行軟體在迴路、硬體在迴路和受保護的機器人試驗。實際任務成功、介入、熱、磨損和安全仍然是決定性因素。
| 評價 | 模仿風險 | 強化風險 | 所需證據 |
|---|---|---|---|
| 留出回合 | 近重複洩漏 | 獎勵過擬合 | 按組劃分資料 |
| 擾動 | 複合誤差 | 脆性最優 | 恢復試驗 |
| 模擬到實體遷移 | 缺少具體細節 | 利用模擬物理漏洞 | 實體機器人校正 |
| 硬體接觸 | 專家覆蓋缺口 | 不安全探索 | 受控試驗 |
| 長期營運 | 漂移與例外情況 | 策略不穩定 | 營運指標 |
策略架構並不能決定方法的選擇
Transformer、擴散策略和循環神經網路可以透過模仿、強化目標或兩者兼用來訓練。模型容量會影響資料需求和延遲，但學習訊號和評估設計仍決定哪些行為被強化。
比較具有相同觀測、動作、任務切分和機器人限制的演算法。包含推論時序和控制器介面。如果策略錯過硬體控制截止時間，離線分數越高就無關緊要。
混合工作流程應有明確的交接標準
常見的順序包括展示預訓練、模擬微調、受限硬體適配和定期資料更新。每個階段應說明輸入的資料、獎勵和策略版本，以及允許進展的證據。
防止評估資料逆流到訓練中。保持簡單的指令碼化或模仿基線。如果強化學習提升了某項指標，而導致介入、穩定性或能量下降，釋放決策應反映整個任務。
最終選擇屬於任務級試驗
衡量所需變化、恢復、介入、週期時間、力、能量和硬體應力的驗證成功情況。測試未見物體和起始狀態。報告分母和信心，而非選定影片。
選擇最簡單的方法，滿足證據閾值。混合方法並不自動更好；它增加了資料和除錯的複雜性。保留回滾能力，並監控部署資料分佈是否改變。
評估“機器人模仿學習與強化學習：何時選擇哪一種”時，還應儲存模型版本、機器人設定、校正檔案、測試日期和全部試驗記錄。
- 請定義任務、觀察、行動和成功。
- 審計展示和獎勵漏洞。
- 透過模擬和防護措施進行受限探索。
- 使用留出資料與擾動測試進行評估。
- 僅在代表性硬體試用後釋出。
常見問題
模仿學習是監督學習嗎？
行為克隆通常是透過觀察-行動例子進行監督學習，儘管更廣泛的模仿方法也可以使用對抗性或反向獎勵目標。
強化學習能在沒有展示的情況下奏效嗎？
當獎勵、探索和重置實用時是可以的，但展示往往加速了稀疏或高風險的機器人任務。
為什麼模仿學習會在小錯誤後失敗？
策略執行可能讓機器人進入專家資料未涵蓋的狀態，導致錯誤累積。恢復資料與迭代收集有助於改善這個問題。
為什麼要在模擬中訓練強化學習？
模擬允許大規模探索和重置而不損壞硬體，但所學策略仍需模擬到實體遷移驗證。
這兩種方法應何時結合使用？
當示範能提供有用且安全的初始策略，而獎勵引導的互動能在受控條件下進一步改善效能時，可考慮結合兩者。
學習方法說明
機器人學習可能會在訓練分佈之外產生意外動作。使用獨立限制、監控試驗、回復和任務特定安全工程；模型訓練結果不能證明機器人系統安全。