當真實機器人所經歷的觀察和後果與模擬中使用的差異足夠大，導致學習策略選擇錯誤的行動時，模擬到現實遷移的傳輸就失敗了。這種不匹配並不是一個神秘的模擬—現實差距。它可以分解為視覺、感測器、動力學、控制和任務之間的差距，這些都需要不同的測量和補救措施。
策略在模擬中可能完美掌握，但在硬體上卻因攝影機移動、接觸摩擦錯誤、控制器延遲或物體開始超出訓練分佈而失誤。增加隨機化而不定位原因，會使訓練更難，而主導失敗則未被觸及。
實際操作流程是重現失敗，比較同步模擬與硬體痕跡，找出最早的分歧點，修改一個不確定性模型，並重復同樣的評估。成功的轉移來自受控的真實機器人試驗，而非視覺相似性或單一展示。
在選擇解決方案前，先拆解模擬—現實差距
“模擬—現實差距”這一短語僅作為起始標籤。除錯記錄應辨識哪個觀察變數最先偏離：影像特徵、感測器狀態、接觸、聯合反應、時間或任務上下文。該變數指向校正、模型辨識、隨機化、控制或資料集變化。
五間隙卡提供了診斷圖。多個間隙可以相互作用，但單獨測量它們可以防止視覺補救應用於動力學問題，或更廣泛的資料集掩蓋控制器速率問題。
視覺上的差距會改變策略對其的看法
渲染的光照、紋理和反射很少與真實相機相匹配。鏡頭畸變、曝光、運動模糊、壓縮和部分遮擋會進一步改變特徵。針對乾淨物體邊界訓練的策略，在混合光線下出現透明、金屬或可變形物體時可能失效。
透過成對或可比較場景測量視覺差距。在評估完整任務前，檢查檢測和分割。域隨機化、寫實渲染、實像微調或外觀轉換都有幫助，但每種方法都應與觀察到的失效模式繫結。
感測器間隙包括校正、雜訊和時間
深度相機、力感測器、編碼器和慣性感測器會產生偏差、衰落和量化，這些在模擬中可能缺失或簡化。即使感知模型正確，相機到機器人的校正也可能使目標移動幾釐米。時間戳誤差可以將不同物理時刻的測量資料合併。
記錄原始感測器訊息和校正版本。比較模擬與硬體之間的雜訊分佈、缺失資料模式和影格時序。注入測量到的雜訊和延遲，而非任意選擇，並保留族外測試，避免策略僅針對單個機器人。
動力學間隙出現在接觸處
質量、重心、摩擦、剛度、阻尼、間隙和致動器飽和度決定了指令如何轉變為運動。接觸豐富的任務會放大小誤差，因為不同的表面法線或順應性會改變力和未來狀態。剛性模擬可能高估軟體或不規則物體的重複性。
在有測量資料的情況下使用系統辨識。從硬體痕跡估算致動器反應、負載、摩擦和延遲，然後測試模擬器是否能重現這些痕跡。將剩餘不確定性隨機化在測量值周圍，而不是用非常寬的分佈替代校正。
| 差距類型 | 可觀察的症狀 | 第一次測量 |
|---|---|---|
| 視覺 | 動作前的物體或姿勢錯誤 | 匹配場景的感知輸出 |
| 感測器 | 狀態跳躍、偏置或幾何不一致 | 原始訊號、校正和時間戳 |
| 動力學 | 接觸後彈道分岔 | 指令運動與實測運動、力的比較 |
| 控制 | 超衝、振盪或晚期修正 | 端對端延遲與控制率 |
| 任務 | 僅在新佈局或新物件中失敗 | 訓練與測試分佈的覆蓋範圍 |
控制缺口甚至會改變正確的策略輸出
模擬可以以精確速率應用動作，且不會有通訊抖動。真實系統具有推論時間、網路延遲、控制器佇列、安全濾波器和馬達限制。因此，物理命令可能延遲到達或被截斷，產生策略在訓練中從未遇到的觀察值。
測量完整的感知到行動延遲及其分佈，而不僅僅是平均模型推斷。在模擬中重放真即時序，測試速率限制和飽和度，並驗證安全控制是否會產生隱藏的不連續性。低階別跟蹤控制器也應獨立於所學策略進行驗證。
任務間隙源於操作環境
實際工作會帶來物體磨損、意外位置、人員、雜亂、有效負載變化和不完全重置。策略可能跨越視覺和動態差距，針對一個準備好的場景，但當任務分佈擴大時失敗。這是覆蓋問題，而非模擬器保真度問題。
在訓練前定義操作範圍：物體、姿態、光照、表面、有效負載、人類距離及允許擾動。評估包絡內側及外側。邊界顯示下一步改進是否應擴充資料、限制部署或增加恢復流程。
領域隨機化應遵循測量到的不確定性
域隨機化使策略暴露於不同的外觀或物理環境，從而減少對單一模擬設定的依賴。 NVIDIA 的 Isaac Sim 文件展示瞭如何將視覺屬性隨機化以生成合成資料。
隨機化不能替代診斷。如果範圍過窄，真實系統仍會處於訓練分佈之外。如果範圍過寬，策略可能會變得保守或無法學習有用的結構。從測量變異開始，然後納入合理的尾部條件，並保留組合供評估。
外觀轉移只解決了部分問題
生成外觀傳輸可以讓渲染的場景看起來更像真實的相機資料。 NVIDIA Cosmos-Transfer2.5 模擬到現實遷移的示例 展示了一個模擬影格和生成的真實輸出。這對感知訓練和視覺變化非常有用。
生成的影格不是硬體測試。它不能證明接觸、致動器反應、延遲或恢復與現實相符。外觀增強和真實機器人驗證應作為獨立的證據層，避免真實影像被誤認為是成功傳輸。
真實機器人評估必須揭示失效分佈
模擬到現實遷移的傳輸指南涵蓋了完整的工作流程；故障分析增加了更嚴格的報告要求。統計所有試驗，在測試前定義成功，按第一個可觀察原因記錄介入和組失敗。精彩集限不能支援傳輸速率。
使用重複的初始狀態和單獨的變異集。當試驗計數允許時報告置信區間，並保留失敗的痕跡。表格區分支援轉移主張的證據與應觸發另一次檢驗的訊號。
| 證據項 | 有用的報告 | 報告較弱 |
|---|---|---|
| 試驗人群 | 所有嘗試和預設成功規則 | 精選成功片段 |
| 變體 | 命名物件、姿態、光照與干擾 | 新穎性主張而無分裂 |
| 介入措施 | 人們什麼時候、為什麼以及多頻繁地接管了 | 省略協助 |
| 故障追蹤 | 最早的散度與同步對數 | 單一標籤，如模擬—現實差距 |
可重複的除錯工作流程
凍結策略，安全重現一次失敗。將模擬和硬體紀錄對齊觀察、動作和時間。找出最早離開預期範圍的變數。更換一個模型或隨機化家族，重跑同一測試集，確認目標失敗減少且不產生新的主導失敗。
在此迴圈中，保持部署限制為保守。 物理 AI 系統必須包含不確定性，包括安全控制和人工升級，同時學習元件不斷改進。目標不是證明模擬是完美；而是提供真實系統在定義範圍內工作的證據。
評估“Sim-to-Real 為何失敗：五類現實差距與機器人除錯流程”時，還應儲存模型版本、機器人設定、校正檔案、測試日期和全部試驗記錄。
只有把這些持續投入與單位成功任務的價值比較，才能判斷方案是否適合擴大。
上線後仍要持續檢查分佈變化、感測器漂移、機械磨損和人工接管原因。
- 用同步紀錄重現真實的故障。
- 找出最早的視覺、感測器、動力學、控制或任務分歧點。
- 一次只更換一個不確定性模型或校正。
- 重複測試同一組變異，檢查迴歸情況。
- 只有在證據有所改善後，才應擴大操作範圍。
常見問題
為什麼機器人在模擬中能工作，但在現實中卻失敗？
實際觀測和動作後果會因相機外觀、感測器雜訊、校正、接觸物理、延遲或任務變化而有所不同。應測量第一個發散訊號。
更好的照片寫實能解決模擬到現實遷移的效果嗎？
單靠寫實本身不是。照片寫實可以縮小視覺差距，但感測器的時序、動態、控制、接觸和任務覆蓋仍需測量和硬體測試。
系統辨識和域隨機化有什麼區別？
系統辨識透過硬體資料估算模型參數。域隨機化在不確定值分佈中進行訓練。它們協同工作效果最佳。
每個模擬器參數都應該隨機化嗎？
不會。隨機化那些不確定且實質性影響任務的參數。過於寬泛或無關的變異會降低學習效率，掩蓋真正的原因。
有多少真實機器人試驗證明了轉移？
沒有統一的數字。報告所有嘗試、預定成功規則、信心分數、變異、介入和失敗原因，均為預期操作範圍。
外觀轉移不是驗證
生成的真實影像和模擬基準結果無法證明硬體執行安全可靠。在定義協議下進行真實機器人測試仍然必要。