機器人動作資料是與時間對齊的記錄，記錄機器人觀察到的、處於何種狀態、被賦予的任務、被命令的動作以及接下來發生了什麼。影片可以展示場景，但通常無法重建控制決策，因為缺少關節狀態、校正、時間戳、夾爪指令和介入。
每個事件應保留訓練或審計策略所需的因果序列。攝影機影格和本體感覺描述目前狀態；語言或任務辨識符號定義目標；動作改變機器人；成功、失敗或恢復標籤描述結果。如果這些訊號使用不同的時鐘或未公開的座標系，資料集可能很大但仍然無法使用。
質量取決於覆蓋範圍和意義，而不僅僅是小時數或回合數。有用的集合包括代表性變體、失敗嘗試、操作員介入、模式版本以及足夠的後設資料以復現預處理。跨機器人資料集不僅增加了規模，也使動作規範化和具象描述變得不可或缺。
一個訓練回合包含同步閉環
一個事件從初始狀態開始，記錄觀察和操作，直到成功、失敗、超時或中斷。界限很重要，因為訓練示例必須將指令和起始條件與結果序列連線起來。錯誤剪輯可能會將動作與錯誤目標配對，或隱藏恢復過程。
卡片列出了五大資料族：觀察、機器人狀態、任務上下文、動作和結果。資料集可以新增音訊、力、觸覺感知、規劃器狀態或安全事件，但這些核心類別為理解行為提供了實際的最低標準。
觀察和機器人狀態描述的是不同的事物
外部觀測透過 RGB、深度、點雲、力、音訊或其他感測器描述環境。機器人狀態描述身體本身：關節位置、速度、轉矩估計、夾爪狀態、移動基座姿勢和控制器模式。策略可能需要兩者，以區分可見目標與身體目前可達範圍。
校正將兩者聯絡起來。相機內在變數、相機到底座的變換、感測器偏移量和座標影格名稱應與回合約步納入版本管理。沒有這些，硬體或軟體更換後，畫素或 3D 點無法一致地解釋。
動作格式定義策略的目標
機器人動作可以記錄為關節位置、速度或轉矩指令；末端效應器姿勢；夾爪指令；移動基座速度；或離散標記。它們可以是絕對目標、目前狀態的差值或多步塊。這些格式在沒有變換規則的情況下無法互換。
這種區分對 VLA 模型也很重要。預測笛卡爾航點的模型需要控制器和逆運動學。預測機器人特定關節的模型包含更多具體細節，但可能不易轉移到其他機器。
| 動作場 | 示例 | 必需後設資料 |
|---|---|---|
| 關節目標 | 臂關節位置 | 聯合序、單位與界限 |
| 末端效應器目標 | 六維位姿或增量位姿 | 座標系與慣例 |
| 夾爪指令 | 位置、力或開合 | 命令含義與硬體範圍 |
| 動作塊 | 未來多個時刻的指令 | 速率、地平線和中斷規則 |
時間對齊是標籤的一部分
在動作前捕捉的攝影機影格不能隨意與後續指令配對。感測器曝光、編碼、傳輸、推論和控制器佇列都會引入延遲。如果時間戳不準確，模型會學習到相位關係，並在硬體上反應較晚。
使用共享時鐘或有檔案的同步方法，保留原始時間戳並記錄取樣率。資料重新取樣時，儲存插值和比對規則。測量延遲分佈，使訓練能夠再現真實的延遲，而不是假設所有模態同時到達。
遙控操作提供意圖和可執行的動作
遙操作讓操作者透過機器人自身的動作介面展示任務。它捕捉硬體可執行的動作，並在物體移動或抓握滑動時進行修正。操作介面、攝影機視角和控制對映會影響最終資料，應被記錄。
展示並非自動最優。操作員可能動作緩慢，使用捷徑或適應介面延遲。質量審查應辨識空閒段、碰撞、意外指令和隱藏輔助。糾正展示和介入資料可能比簡單的成功更有價值。
跨機器人資料需要一個顯式的通用模式
機器人在關節數量、鏈節幾何形狀、夾爪、感測器和控制速率上存在差異。一個稱為“作用”的場可能在一個平台上表示度數，在另一個平台上表示弧度，在第三個平台上表示工具框架的差值。將它們組合而不使用語意模式會產生無聲的標籤錯誤。
跨機體資料集應保留原始動作、使用時的正規化表示、轉換程式碼以及足夠的機器人後設資料以反轉對映。缺失的維度、不可用的感測器和不同的成功定義應是顯式的，而非填充未解釋的零。
Open X-Embodiment 既展現了規模性，也表現出異質性
Open X-Embodiment 專案彙集了來自眾多機器人、機構和任務的資料集。其視覺多樣性展示了機器人資料為何支援更廣泛的學習，但配套的倉庫許可和免責宣告也提醒使用者檢查資料集特定的術語和表示。
當模型能夠區分共享任務結構與具身特定命令時，多樣性非常有用。保持源資料集身份、機器人描述和預處理系譜，使意外結果能夠追溯到貢獻的片段，而非被視為不透明的混合。
資料集質量透過可恢復的證據來衡量
有用資料可以被檢查、回放和追蹤。每個事件應有穩定的辨識符號、模式版本、機器人和校正後設資料、任務定義及質量狀態。訓練、驗證和測試拆分應防止幾乎重複的軌跡或場景在評估中洩露。
覆蓋範圍應在任務條件間報告，而非僅限總規模。計數物件、初始姿態、環境、操作員、失效和介入。該表將常見的質量宣告轉化為讀者或模型開發者可驗證的證據。
| 質量宣告 | 要存放的證據 | 若省略則為失敗 |
|---|---|---|
| 同步 | 原始時間戳和對齊方法 | 動作與錯誤的觀察結合 |
| 多元性 | 按任務、物體、場景和機器人計數 | 許多回合重複同樣簡單的情況 |
| 可重複 | 模式、校正和轉換版本 | 預處理無法重建 |
| 有效評估 | 按組劃分資料並審計重複項 | 測試效能因洩漏而被提升 |
培訓和評估應當保護失敗
機器人資料集通常強調成功的展示，因為模仿學習需要期望行為的示例。 機器人基礎模型 還受益於知道何時行動失敗、何時有人介入以及恢復如何恢復有效狀態。移除所有失敗可以隱藏決策邊界。
失效資料應按可觀察原因標註，但不應發明確定性。物體掉落可能涉及感知、抓取、控制或意外接觸。應分別儲存完整的痕跡和人工註釋，以便後續分析能修正原因，同時保留事件本身。
第一集前的收藏清單
在大規模收集前先編寫模式。定義時鐘、座標影格、單位、動作語意、回合數邊界、成功規則、介入事件和隱私處理。執行一個小捕獲，離線重建任務，並驗證第二人能在沒有未公開知識的情況下解讀每個欄位。
然後將收集與部署問題聯絡起來。 模擬和真實機器人資料 可以互補，但它們必須保留其域和生成後設資料。目標不是一個大型資料夾；它是一個可信的記錄，可以訓練、評估和除錯物理策略。
評估“機器人動作資料：訓練回合記錄什麼，為何僅靠影片不夠”時，還應儲存模型版本、機器人設定、校正檔案、測試日期和全部試驗記錄。
只有把這些持續投入與單位成功任務的價值比較，才能判斷方案是否適合擴大。
上線後仍要持續檢查分佈變化、感測器漂移、機械磨損和人工接管原因。
- 請定義回合開始、成功、失敗、暫停和介入。
- 版本感測器校正、座標影格和動作語意。
- 同步觀察、狀態和命令，使用有檔案記錄的時鐘。
- 保留故障、恢復以及操作員身份或協議後設資料。
- 在制定評估分段前，先審計重複和洩露情況。
常見問題
機器人動作資料和機器人影片是一樣的嗎？
不。影片是一種觀察模式。動作資料還需要機器人狀態、指令、時機、任務上下文、校正和與該事件結果相符。
為什麼失敗的機器人回合有用？
它們揭示了策略、控制器或任務邊界的突破點，並能教導恢復或安全拒絕執行。即使確切原因不確定，追蹤也應被保留。
不同機器人的動作資料可以合併嗎？
可以，但僅限於顯式具身後設資料、單元、影格、動作語意和轉換規則。共享欄位名稱並不意味著命令是等價的。
多少機器人資料才算足夠？
沒有統一的時長或回合數。任務、物件、條件、故障和評估獨立性的重要性遠比單一的宣傳規模數字更重要。
我在哪裡可以找到公開的機器人動作資料集？
Open X-Embodiment 和 Hugging Face LeRobot 是有用的起點。使用前請檢查每個資料集的模式、機器人、許可和任務覆蓋情況。
資料集規模並不保證能力
資料集規模、機器人數量或影片小時數本身並不能確定質量、概括性或部署準備度。檢查模式、覆蓋範圍、沿襲和評估獨立性。