ロボットの行動データは、ロボットが観測したこと、状態、与えられたタスク、指示された動作、そしてその後に起こったことの時間に合わせた記録です。映像で現場を映せますが、通常は制御決定を再構築することはできません。なぜなら、ジョイント状態、キャリブレーション、タイムスタンプ、グリッパーコマンド、介入が欠けているからです。
各エピソードは、ポリシーのトレーニングや監査に必要な因果順序を保持すべきです。カメラフレームと固有受容感は現在の状態を示します。言語またはタスク識別子が目標を定義します。行動はロボットを変えます。そして成功、失敗、回復のラベルは結果を表します。もしそれらの信号が異なるクロックや未公開の座標系を使っていると、データセットが大きくなっても使い物にならないことがあります。
質は放送時間やエピソード数だけでなく、報道や意味にかかっています。有用なコレクションには、代表的なバリエーション、失敗した試み、オペレーター介入、スキーマバージョン、そして前処理を再現するのに十分なメタデータが含まれます。クロスロボットデータセットはスケールを加えるだけでなく、アクション正規化や身体記述も不可欠にします。
あるトレーニングエピソードには同期ループが含まれています
エピソードは初期状態から始まり、成功、失敗、タイムアウト、または中断までの観察と行動を記録します。境界は重要です。なぜなら、訓練例は命令と開始条件を結果のシーケンスに結びつけなければならないからです。エピソードを誤ってカットすると、行動と間違った目標が結びついたり、回復が隠れたりすることがあります。
カードには5つのデータファミリーが記載されています:観察、ロボットの状態、タスクコンテキスト、アクション、アウトカムです。データセットは音声、力、触覚感知、プランナーの状態、安全イベントなどを加えることができますが、これらのコアファミリーは行動を理解するための実用的な最低限の手段を提供します。
観測とロボットの状態は異なるものを表します
外部観測はRGB、深度、点群、力、音声、その他のセンサーを通じて環境を記述します。ロボットの状態は身体そのものを表します。関節位置、速度、トルク推定、グリッパー状態、モバイルベースポーズ、コントローラーモードなどです。ポリシーは、身体が現在到達できる目標と目に見える目標を区別するために、両方を必要とするかもしれません。
キャリブレーションが両者をつなげています。カメラの内蔵要素、カメラからベースへの変換、センサーのオフセット、座標フレーム名はエピソードに合わせてバージョン指定されるべきです。これらがなければ、ハードウェアやソフトウェアの変更後にピクセルや3D点を一貫して解釈することはできません。
アクションフォーマットはポリシーのターゲットを定義します
ロボットの動作は関節位置、速度、トルクのコマンドとして記録できます。エンドエフェクターポーズ;グリッパーのコマンド;移動基速度;または離散トークン。それらは絶対的な目標、現在の状態からのデルタ、または複数段階のチャンクであったりします。これらのフォーマットは変換ルールなしでは互換性がありません。
この区別は VLA モデルにも重要です。デカルトウェイポイントを予測するモデルにはコントローラーと逆運動学が必要です。ロボット固有の関節を予測するモデルは、より多くの身体の詳細を含みますが、別の機械に移行するのは難しい場合があります。
| アクションフィールド | 例 | 必要なメタデータ |
|---|---|---|
| 共同目標 | アームジョイントの位置 | 共同順序、単位および境界 |
| エンドエフェクタターゲット | 6Dポーズまたはデルタポーズ | 座標系と慣習 |
| グリッパーコマンド | 位置、力、開閉 | コマンドの意味とハードウェア範囲 |
| アクションチャンク | いくつかの将来の指揮 | レート、ホライズン、そして中断のルール |
時間の整合性はラベルの一部です
アクション前に撮影されたカメラフレームと、後から指示を出すことは軽率に組み合わせてはいけません。センサー露出、エンコーディング、トランスポート、推論、コントローラキューは遅延をもたらします。タイムスタンプが不正確であれば、モデルはシフトした関係を学習し、ハードウェア上で遅れて応答することがあります。
共有クロックや文書化された同期方法を使い、元のタイムスタンプを保持し、サンプリングレートを記録しましょう。データがリサンプリングされた際、補間およびアラインメントのルールを保存します。すべてのモダリティが同時に到達するのではなく、訓練が現実的な遅延を再現できるようにレイテンシ分布を測定しましょう。
テレオペレーションは意図と実行可能な動きを提供します
テレオペレーションは、ロボット自身のアクションインターフェースを通じて作業を実演できます。ハードウェアが実行可能な動きを捉え、物体が動いたり掴んだりした際の修正も含めることができます。オペレーターインターフェース、カメラビュー、制御マッピングは結果としてデータに影響を与え、記録されるべきです。
デモンストレーションが自動的に最適とは限りません。オペレーターは動きが遅く、ショートカットを使ったり、インターフェースの遅延に適応したりします。品質レビューは、アイドル区間、衝突、誤ったコマンド、隠れた支援を特定する必要があります。是正の実証や介入データは、単なる簡単な成功よりも価値があります。
クロスロボットデータには明示的な共通スキーマが必要です
ロボットは関節数、リンク形状、グリッパー、センサー、制御速度に違いがあります。アクションと呼ばれる場は、あるプラットフォームでは度数、別のプラットフォームではラジアン、第三プラットフォームではツールフレームデルタを表すことがあります。セマンティックスキーマなしでこれらを組み合わせると、サイレントラベルエラーが発生します。
クロスエボディメントデータセットは、元の動作、使用時の正規化表現、変換コード、そしてマッピングを逆転させるための十分なロボットメタデータを保持すべきです。欠落した次元、利用できないセンサー、異なる成功定義は明示的であるべきで、説明のつかないゼロで埋め尽くされるべきではありません。
Open X-Embodimentはスケールと異質性の両方を示します
Open X-Embodimentプロジェクトは、多くのロボット、機関、タスクのデータセットを統合します。その視覚的多様性は、ロボットデータがより広範な学習を支える理由を示していますが、添えられたリポジトリのライセンスと免責事項は、ユーザーにデータセット固有の用語や表現を確認するよう促しています。
多様性は、モデルが共有タスク構造と身体固有のコマンドを区別できる場合に有用です。ソースデータセットの識別、ロボットの説明、前処理系譜を保持し、驚くべき結果を不透明な混合として扱わず、寄与エピソードに結びつけられるようにしましょう。
データセットの質は、再現・追跡可能な検証記録によって測定されます
有用なデータは確認、再生、追跡が可能です。すべてのエピソードには安定した識別子、スキーマバージョン、ロボットおよびキャリブレーションのメタデータ、タスク定義、品質の状態が必要です。訓練、検証、試験分割により、ほぼ重複した軌道やシーンが評価に漏れるのを防ぐ必要があります。
カバレッジは総規模だけでなく、タスク条件全体で報告されるべきです。オブジェクト、初期ポーズ、環境、オペレーター、故障、介入を数えましょう。この表は、一般的な品質主張をリーダーやモデル開発者が検証可能な証拠に変換します。
| 品質主張 | 証拠を保管する | 省略した場合の失敗 |
|---|---|---|
| 同期 | 元のタイムスタンプとアラインメント方法 | 行動と誤った観察の組み合わせ |
| 多様性 | タスク、オブジェクト、シーン、ロボットごとにカウント | 多くのエピソードは同じ簡単なケースを繰り返します |
| 再現可能 | スキーマ、キャリブレーション、変換バージョン | 前処理は再構築できません |
| 有効な評価 | グループ認識型分割および重複監査 | 漏れによってテスト性能が膨らみます |
訓練と評価は失敗を防ぐべきです
ロボットデータセットは、模倣学習が望ましい行動の例を必要とするため、成功したデモンストレーションを重視することが多いです。 ロボット基盤モデル は、行動が失敗した時、介入者が介入した時、回復が有効な状態に戻る方法を知ることからも恩恵を受けます。すべての失敗を削除すると、決定境界が隠れます。
故障データは、確実性を発明することなく、観察可能な原因でラベル付けされるべきです。落下物は知覚、掴み、制御、または予期せぬ接触を伴うことがあります。完全な痕跡と人間の注釈を別々に保存し、後の分析で原因を修正しつつ事象を保持できるようにします。
第1話前のコレクションチェックリスト
大規模に収集する前にスキーマを書きましょう。クロック、座標フレーム、単位、アクションセマンティクス、エピソード境界、成功ルール、介入イベント、プライバシー処理を定義します。小さなキャプチャを実行し、オフラインでタスクを再構築し、2人目が未公開の知識なしにすべてのフィールドを解釈できることを確認しましょう。
次にコレクションをデプロイの質問に結びつけます。 シミュレーションと実際のロボットデータは 補完し合えますが、それぞれのドメインや生成メタデータを保持しなければなりません。目的は大きなフォルダーではありません。これは物理的なポリシーを訓練、評価、デバッグできる信頼できる記録です。
- エピソード開始、成功、失敗、タイムアウト、介入を定義してください。
- バージョンセンサーのキャリブレーション、座標フレーム、アクションセマンティクス。
- 観測、状態、コマンドを文書化された時計上で同期させます。
- 障害、復旧、オペレーターの識別やプロトコルのメタデータを保持します。
- 評価分割を作成する前に、重複や漏洩を監査してください。
よくある質問
ロボットのアクションデータはロボットの映像と同じですか？
いいえ。ビデオは観察の一形態です。アクションデータには、ロボットの状態、コマンド、タイミング、タスクコンテキスト、キャリブレーション、そしてエピソードに沿った結果も必要です。
なぜ失敗したロボットエピソードが役に立つのですか？
ポリシー、コントローラー、タスクの境界がどこを破るかを明らかにし、回復や安全な禁欲を教えることができます。正確な原因が不明でも痕跡は保存されるべきです。
異なるロボットのアクションデータを組み合わせることはできますか？
はい、ただし明示的な具現化メタデータ、ユニット、フレーム、アクションセマンティクス、変換ルールのみを適用します。共有されたフィールド名がコマンドを同等にするわけではありません。
どれくらいのロボットデータが十分なのでしょうか？
普遍的な視聴時間やエピソード数はありません。タスク、オブジェクト、状態、故障、評価の独立性のカバーは、見出しサイズ以上の意味を持ちます。
公開されたロボットアクションデータセットはどこで見つけられますか？
オープンX-エムボディメントとハギングフェイス・ルロボットは有用な出発点です。使用前に各データセットのスキーマ、ロボット、ライセンス、タスクカバレッジを確認してください。
データセットの規模が能力を保証するわけではありません
データセットのサイズ、ロボット数、動画時間だけでは品質や一般化、展開準備度を判断できません。スキーマ、カバレッジ、系譜、評価の独立性を検査してください。