遙操作資料是在操作者透過主控機械臂、操縱桿、動作捕捉、耳機、鍵盤或其他介面控制機器人時記錄的。有價值的資料記錄不僅僅是影片本身。它是同步的片段，將機器人觀察和已知的內容與操作員指令的動作及隨後的結果聯絡起來。
介面塑造資料。引導臂可能提供自然的關節或末端效應器軌跡，但繼承自身幾何結構。虛擬現實控制器可能表達相對姿態，需要重新定位。鍵盤控制產生離散指令。延遲、縮放、濾波和安全限制改變了人類意圖與機器人運動之間的關係。
遙操作既可以是操作模式，也可以是資料生產方法。遠端 操作與自主 性之間的區別必須在資料集中保留。展示回合可以訓練策略，但自主能力只能透過單獨的策略自主執行回合和檔案化介入來建立。
展示是同步的多模態記錄
完整的一集會對齊相機影格、深度或力資料、關節位置和速度、夾爪狀態、任務指令和操作員動作。 機器人動作資料指南 詳細解釋了這些欄位。校正辨識符號和軟體版本使記錄可復現。
動作標籤應明確其含義：關節目標、速度、末端效應器姿態、δ指令或其他控制空間。沒有單位、影格和時機，相同數字無法安全重放或在機器人間組合。將成功、失敗和介入標籤與軌跡並存。
時鐘對齊決定了哪個動作導致了哪張影像
攝影機、機器人控制器和操作裝置可能以不同的速率和時鐘執行。如果時間戳漂移，影像可能會與較早或晚發生的動作配對。學習到的策略因此產生模糊的因果關係，這在快速接觸或恢復時尤其有害。
使用定義的主時鐘、硬體時間戳（如有）以及同步診斷記錄。記錄丟棄影格、佇列延遲和命令應用時間。重取樣應保留原始時間戳，以便後續流水線區分插值與測量資料。
| 流 | 必需後設資料 | 常見故障 | 檢查 |
|---|---|---|---|
| 相機 | 時間戳、曝光、校正 | 丟影格或延遲影格 | 影格間隔與同步 |
| 機器人狀態 | 單位、關節、框架和速率 | 陳舊的觀察 | 行動時間的年齡 |
| 操作員動作 | 裝置與對映 | 隱藏縮放或過濾 | Raw 加上應用指令 |
| 結果 | 成功規則與介入 | 未標記的部分失效 | 回合回顧 |
遙操作員會改變動作分佈
主從機械臂鼓勵連續軌跡，類似於機器人的設定。動作捕捉或虛擬現實支援全身或末端效應器指令，但需要重新定向和工作區對映。搖桿偏向低維速度控制。每個介面使某些行為更簡單，而其他行為表現較少。
記錄操作員、裝置、控制模式、縮放、離合和輔助。跨介面混合資料可以擴大覆蓋範圍，但也可能造成標籤不一致。僅在物理意義保持時進行規範化，並保留源身份以供後續分析。
好的展示保持一致，但不會完全相同
操作員應高效完成任務，避免不必要的振盪，但資料集需要在物體位置、接近和普通擾動上進行變化。重複一條精確路徑可以生成記住設定的策略。隨機且無控制的變異會使小資料集變得不連貫。
定義包含允許策略、任務成功率和重置規則的收集協議。培訓操作員，審查早期集數並在擴充前調整協議。記錄操作員身份，因為技能和風格會影響動作的流暢性和覆蓋範圍。
僅有成功的資料忽略了策略失敗的狀態
行為克隆從已展示的狀態中學習。在部署過程中，小錯誤可能使機器人進入成功展示中未曾出現的狀態，錯誤會疊加。恢復展示和人工介入展示瞭如何從弱抓握、錯位和部分進展中恢復。
LeRobot 的 “人機參與”檔案 描述了交替自主段與人工接管和糾正，記錄恢復過程而不重置回合。保留控制標籤，以便訓練和評估區分策略與人類行為。
資料整理可避免靜默資料故障汙染訓練
訓練前，檢查缺失的流、時間戳缺口、校正不匹配、不可能的關節值、飽和度和影片損壞。複查任務標籤和成功標準。重複或近似重複的集數可能會使某一設定過重，而取消的試驗如果標註正確，可能包含有價值的失敗背景。
資料整理應具備可重複性。對原始資料、轉換程式碼、排除規則和輸出資料集納入版本管理。不要覆蓋介入或失敗標籤以使資料看起來乾淨。這些片段通常解釋了平均訓練損失無法揭示的部署錯誤。
培訓將展示轉化為策略，而非證明
LeRobot 真實機器人指南將遙操作、資料集記錄、策略訓練和評估分開。這種分離在概念上非常重要。策略檢查點反映了對展示資料分佈的最佳化；它並不確定新試驗的自主成功。
視覺-語言-動作模型可以將任務文字與觀察和動作結合起來。資料集仍然需要一致的指令語意和具身後設資料。語言無法修復缺失的同步或模糊的控制標籤。
學習流程應透過評估來收尾
培訓結束後，對保持位置、物體或環境進行獨立的集數。衡量成功、介入、恢復、時間和安全事件。儲存使用相同同步模式的失敗，然後決定是否收集新的示範、介入或針對環境變化。
卡片顯示的是閉環，而非一次性記錄活動。展示、同步、資料整理、培訓和評估。每次評估失敗都應產生資料假設，而非收集更多隨機小時數的指令。
資料集規模必須與覆蓋範圍掛鉤
展示數量並不統一。狹義的確定性任務可能從數十個持續的事件中學習；而多樣化的雙手任務則可能需要更多。統計與任務相關的變異、操作員、物件、啟動狀態和恢復案例，而不是單獨引用小時數。
學習曲線有幫助。訓練不斷增加的子集，並評估同一未完成的套件。如果效能停滯，更多相似資料可能無濟於事。診斷缺失狀態、標記雜訊、模型容量、動作表示和硬體變異後再擴充集合。
| 覆蓋軸 | 記錄內容 | 評估分歧 |
|---|---|---|
| 物體與姿態 | 單位元、幾何結構和起始狀態 | 未完成的組合 |
| 操作員 | 身份與介面 | 在相關情況下，未見操作員風格 |
| 環境 | 攝影、燈光與佈局 | 長期待命條件 |
| 故障與恢復 | 錯誤、接管與糾正 | 以恢復為重點的試驗 |
| 機器人設定 | 校正與軟體版本 | 跨會期穩定性 |
實用的收集門避免了昂貴的重做
試點一個小型資料集，驗證回放、時間戳、校正、標籤和視覺化，然後進行大規模收集。確認僅憑記錄的觀察資料即可完成任務。當攝影機捕捉到工人或家庭時，驗證隱私和儲存性。
定義原始展示、衍生資料集和策略更新的歸屬權。記錄同意和存取控制。營運資料可以成為有價值的飛輪，但前提是技術質量、安全和治理保持聯絡。
評估“機器人學習的遙操作資料：記錄、同步、整理與評估”時，還應儲存模型版本、機器人設定、校正檔案、測試日期和全部試驗記錄。
只有把這些持續投入與單位成功任務的價值比較，才能判斷方案是否適合擴大。
上線後仍要持續檢查分佈變化、感測器漂移、機械磨損和人工接管原因。
實際專案還應指定資料、模型、控制器和安全流程的負責人，並預先定義回復條件。責任邊界、審批記錄與變更紀錄越清楚，故障發生後越容易停止擴散、定位原因並安全恢復。
把任務拆成感知、決策、動作執行和結果確認，可以更準確地定位瓶頸。每一階段都應有獨立指標與失敗示例，避免用端對端成功率掩蓋偶發但嚴重的風險。
- 請定義動作語意和時鐘。
- 擴大采集前先用小規模試採驗證同步。
- 記錄成功、失敗與介入。
- 版本資料整理和校正。
- 評估未完成的策略。
常見問題
遙操作和遙控是一樣的嗎？
遙操作是一種遠端控制，通常強調與機器人感知和運動的持續人類互動。具體介面和自主輔助應說明。
遙操作資料能讓機器人實現自主嗎？
不。它提供訓練展示。自主能力必須透過執行訓練有素的策略來衡量，且不需公開的持續人類指令。
需要多少次示威？
這取決於任務的複雜度、變化、一致性、模型和評估目標。使用學習曲線和覆蓋範圍，而非單一的通用計數。
失敗的示威應該被刪除嗎？
損壞的資料應被排除，但真實的故障和恢復如果準確標註並配合有意的訓練方法使用，依然具有價值。
模擬遙操作資料可以與真實資料混合嗎？
是的，如果觀察空間、動作空間、時機和身體差異有記錄。透過長期的真實機器人測試驗證混合。
資料集與控制說明
遙操作工具、資料集格式和策略工作流會發生變化。在收集或訓練模型之前，請確認目前文件、儲存庫版本、機器人設定和資料權限。