用於機器人學習的合成資料由軟體生成，而不僅僅是從物理感測器和人工註釋中捕獲。模擬器或生成流水線可以大規模建立場景、機器人軌跡和標籤。資料可能包括 RGB、深度、分割、物體姿勢、接觸、動作、獎勵和成功事件。
其價值在於可控性。開發者可以調整物體位置、光照、攝影機姿態和罕見的失效條件，然後直接從現場獲取標籤。合成資料並非僅因為標籤自動而變得正確。幾何形狀、感測器效應、動力學和任務定義都可能與現實不同。
因此，該方法屬於更廣泛的 模擬到現實遷移策略的一部分。合成資料可以預訓練模型或填充稀疏案例，而保留的真實資料和機器人試驗則決定其是否能改善預期任務。僅僅以資料集大小為標準，並非驗收標準。
合成資料可以描述感知、行為和事件
感知資料集將渲染後的感測器輸出與邊界框、遮罩、深度、法線和物體姿態等標籤配對。動作資料集包含機器人的觀察、狀態和命令。事件資料集標記接觸、碰撞、抓取成功、目標完成或介入。不同的學習目標需要不同的同步輸出。
NVIDIA 目前 Isaac Sim 合成資料檔案 將感知、動作與事件、抓取、移動和遙操作工作流程區分開來。該分類法非常有用，因為一堆影像無法在沒有對齊狀態和結果資訊的情況下，教會機器人其動作的後果。
| 資料類型 | 典型標籤 | 機器人使用 | 質量問題 |
|---|---|---|---|
| 認知 | 邊界框、掩碼、深度和位姿 | 探測與現場狀態 | 外觀符合感測器條件嗎？ |
| 行動 | 觀察、狀態與指揮 | 模仿與策略學習 | 時機和框架對齊了嗎？ |
| 事件 | 接觸、碰撞及結果 | 恢復與評估 | 標籤和任務語意一致嗎？ |
| 軌跡 | 機器人與物體運動 | 規劃與預測 | 動力學和約束合理嗎？ |
自動標籤是一大優勢
模擬器瞭解場景物件的身份、幾何和姿態。它可以渲染影像並匯出精確標籤，而無需人工繪製每個遮罩。它還能揭示隱藏的表面、遮擋關係和深度，這些在現實世界中測量可能成本較高。
標籤相對於模擬場景是精確的，不一定是相對於展開感測器。如果渲染器忽略運動模糊、多徑深度誤差或鏡頭失真，完美的模擬標籤可能會伴隨不現實的觀測結果。標籤的正確性和觀測準確度必須分別評估。
場景設計從部署分發開始
列出部署時預期的物體、環境、攝影機視角、機器人狀態和故障條件。倉庫探測器需要包裝變化、雜亂、標籤撕裂和部分遮擋。家用機械臂需要更寬的幾何形狀、材料、人員、寵物和不斷變化的背景。
使用真實測量來定義合理的範圍。庫存統計、相機校正、照明測量和機器人紀錄比任意變化提供更好的先驗。保持物體質量與幾何體或相機曝光與照明等相關性，使生成的場景保持物理意義。
域隨機化擴大了覆蓋範圍
域隨機化會變化於外觀、姿態、感測器、動力學和控制，因此模型不能依賴單一名義模擬。目標是覆蓋相關不確定性，而非使每個變數都儘可能隨機。不合理的組合會浪費容量並降低任務訊號。
專門的 領域隨機化指南 解釋了範圍設計、相關性和硬體回饋。每個分佈和種子都納入版本管理。否則，改進無法追溯到新資料、模型變化或生成器的意外偏移。
感測器模擬確定視覺間隙
機器人模型會消耗特定鏡頭、深度裝置、光達模式和慣性感測器的輸出。通用的乾淨渲染可能會省略噪點、延遲、掉落、滾動快門、曝光、反射和校正誤差。這些效果即使在場景資源看起來真即時，也可能主導部署。
使用 機器人感測器指南 定義哪些測量屬性重要。將強度、深度孔洞、點密度和時間分佈與真實捕獲進行比較。重建的真實場景可以在提升外觀的同時，仍要求正確的感測器和機器人動態。
動作資料需要可信的物理和控制時序
感知模型有時能容忍近似動力學，因為它從影像中學習。控制接觸的策略需要可信的質量、摩擦、順從性、致動器限制和延遲。小錯誤可能改變抓握的穩定性、衝擊或平衡，導致策略利用硬體無法實現的行為。
記錄每個資料集版本的模擬步驟、控制率、動作表示和安全限制。驗證運動與真實軌跡和力的匹配。隨機化可以降低對不確定參數的敏感性，但無法補償缺失機制或錯誤的任務介面。
| 隙口 | 合成檢驗 | 真正的檢查 | 可能的回應 |
|---|---|---|---|
| 外觀 | 展出的素材與燈光 | 實像效能 | 改進材料或隨機化 |
| 感測器 | 雜訊與延遲注入 | 原始資料流統計 | 校正感測器模型 |
| 動力學 | 參數掃除 | 軌跡與接觸誤差 | 辨識或隨機化物理 |
| 任務 | 場景覆蓋 | 故障與介入紀錄 | 新增缺失條件 |
| 標籤 | 生成元斷言 | 示例人工審計 | 修復語意或匯出 |
真實資料與合成資料的混合訓練方案通常更為強大
合成資料可以提供廣泛的預訓練和平衡的罕見案例。較小的真實資料集則調整模型以適應感測器的外觀、動態和操作上下文。混合比應被視為實驗，而非普遍常數。
保持獨立的實驗證和測試集，從不調整生成器或模型。如果每次真實失敗都回饋到訓練中再進行測量，進展可能被高估。報告僅合成、僅實和混合基線，採用同一評估協議。
質量意味著實用性、保真度和覆蓋範圍
視覺忠實度詢問觀測如何與現實相似，任務效用則詢問資料是否改善了下游模型。覆蓋度則詢問重要狀態和失效模式是否被代表。多樣性而無任務相關性可以增加工作量，同時保持操作盲點不變。
審計類平衡、場景組合、重複、標籤完整性和不可能狀態。訓練探針模型並透過真實世界切片進行效能比較，而非單一平均值。生成器還應揭示來源：資產、許可、軟體版本、參數和隨機種子。
現實世界的驗證關閉了資料迴圈
將候選模型部署在受控機器人試驗中，並記錄預測或動作失效的地方。將每次失敗對映到觀察、狀態、參數或任務條件。儘可能在模擬中復現，生成目標變體，並在保留的實測集上重新測試。
該迴圈使合成資料對證據而非美學作出反應。寫實渲染僅在減少測量誤差時有用。保留模擬器無法復現的失敗；它們辨識缺失的物理、感應或操作假設。
治理涵蓋許可、隱私和可重複性
合成資料可以減少對個人或專有真實場景的收集，但生成的資產和源模型仍有許可和使用條款。避免假設合成手段無限制。跟蹤 3D 素材、紋理、預訓練模型和生成輸出的來源和允許使用。
車載資料收集仍可能捕捉到人員或客戶環境。 邊緣 AI 指南 討論了選擇性紀錄和保留。釋出資料集卡，描述目的、生成流程、已知缺口、評估及禁止解釋。
評估“機器人學習的合成資料：標籤、隨機化、質量與真實驗證”時，還應儲存模型版本、機器人設定、校正檔案、測試日期和全部試驗記錄。
只有把這些持續投入與單位成功任務的價值比較，才能判斷方案是否適合擴大。
上線後仍要持續檢查分佈變化、感測器漂移、機械磨損和人工接管原因。
- 定義下游機器人決策。
- 生成一致的觀察、行動和結果。
- 測量真實的部署分佈。
- 比較純合成、純實和混合基線。
- 用保留的真實機器人試驗來收尾。
常見問題
合成資料能取代真實機器人資料嗎？
通常不會完全完成。它可以降低採整合本、預訓練模型並覆蓋罕見情況，但需要真實資料來衡量模擬器和部署差距。
合成資料會自動標記嗎？
通常是的，因為生成器知道物體和場景狀態。匯出的標籤仍可能語意錯誤，或與不切實際的觀察匹配，因此審計仍然必要。
機器人專案應該使用多少合成資料？
沒有固定的比例。在相同的真實評估下比較純合成、僅真實和混合訓練，然後選擇滿足任務要求的最小混合。
照片寫實主義是否保證了有用的機器人資料？
不。正確的幾何形狀、時機、接觸、感測器效應和任務覆蓋範圍可能更為重要。下游的現實效用是決定性指標。
合成資料集卡應包含哪些內容？
包括目的、生成器和版本、資產與權利、變數與分佈、感測器、標籤、已知缺口、質量檢查以及對保留的真實資料或硬體的結果。
資料與驗證說明
合成資料工具、資產和許可發展迅速。確認目前文件和權利，保留生成器來源，只有在真實資料和機器人試驗顯示任務層面效益後才接受資料集。