LeRobotDataset v3は、高周波低次元信号をParquetに、カメラストリームをMP4に、スキーマとエピソードのセグメントをメタデータに格納するロボット学習データフォーマットです。複数のエピソードはより大きなファイルを共有でき、APIはエピソードレベルのアクセスを再構築します。
この設計はファイルシステムの負荷を軽減し、ハブネイティブのストリーミングを可能にしますが、オフセット、タイムスタンプ、最終決定が非常に重要になります。各Parquetファイルや動画ファイルが独立して開くからといって、データセット自体が有効ではありません。
公式の LeRobotDataset v3ドキュメント はコードベースとともに進化します。インストールされたリリースとドキュメントのリビジョンをピン留めし、このガイドを ロボットのアクションデータガイド や データ品質監査と組み合わせて使います。
エピソードアクセスとはストレージファイルを分ける
バージョン3はエピソードごとに1つのファイルストレージから、より大きな共有ParquetおよびMP4シャードへと移行しました。エピソード境界はファイル名から推測されるのではなく、メタデータから復元されます。トレーニングコードは、すべてのシャードを手動で開かなくてもサンプルや時間ウィンドウを要求できます。
この分離はスケールを向上させるが、関係性の整合性への依存度を増やす。メタデータを更新せずにデータファイルだけをコピーしたり、シャードの名前を変更したりすると、完全なエピソードにアクセスできなかったり、配置がずれたりすることがあります。
パーケットに表形式の時系列を入力する
ロボットの状態、動作、タイムスタンプ、その他の低次元の高レート機能が、宣言された名前、dtype、形状とともにParquetに収録されます。単位、フレーム、制御意味はコンテナによって作成されるものではなく、文書化され続けなければなりません。
エピソードごと、各ロボットごとの行順、タイムスタンプの単調性、欠損した値、特徴範囲をチェックしてください。読み取り可能なテーブルには、1フレームずれたアクションや静かに変化した単位を含めることができます。
| 構成要素 | 店舗 | 批評的関係 | 故障例 |
|---|---|---|---|
| メタ/info.json | スキーマ、FPS、バージョン、パス | すべての特徴とシャードを記述しています | 誤ったdタイプ |
| data/*.parquet | 状態、アクション、タイムスタンプ | 行はエピソードに割り当てられます | オフセットシフト |
| 動画/*.mp4 | カメラフレーム | フレームは時間に合わせます | ドロップフレーム |
| メタ/エピソード | 長さ、タスク、オフセット | 境界の再構築 | クロスドエピソード |
| メタ/ステータス | 特徴統計 | 試合の単位と分割 | リーキーや古くなったステータス |
カメラストリームをMP4シャードへ保存する
フレームはParquetにアレイとして保存されるのではなく、カメラごとにビデオシャードにエンコードされます。コーデック、フレームレート、キーフレーム、カメラの識別がランダムアクセスやストリーミングコストに影響を与えます。フレームインデックスだけがユニバーサルタイムであると仮定するのではなく、元のタイミングを保持しましょう。
各カメラからサンプリングされた間隔をデコードし、フレーム数とタイムスタンプを表形式の観測値と比較します。トレーニング前に欠損、フリーズ、変動率の動画挙動をテストしてください。
スキーマの入口としてinfo.jsonを使います
公式のv3ドキュメントでは、meta/info.jsonを特徴、形状、dtype、FPS、コードベースバージョン、パステンプレートの標準的なスキーマ位置として説明しています。録音、変換、トレーニングの間の契約として扱いましょう。
必要なキーを検証し、互換性のないスキーマ変更は早期に却下します。observation.stateのような名前では、単独で順序、単位、フレームを識別できないため、カスタム特徴定義と処理コードを保持してください。
関係メタデータからエピソードを再構築する
エピソードごとの記録は、共有データやビデオファイルの長さ、タスク、オフセットを提供します。シャード境界を越えたりファイル遷移の近くに位置するエピソードを含め、最初、最後、ランダムなエピソードを検証します。
集計の行数だけを信用しないでください。各サンプルエピソードを再構築し、開始・終了観察、タスクラベル、アクションシーケンス、カメラクリップが同じ試験に属していることを確認しましょう。
タスクと統計を派生メタデータとして扱う
タスクレコードは、自然言語の記述と条件付きポリシーで使用される識別子を結びつけます。統計は正規化を支持しますが、どちらも生の意味論を置き換えるものではありません。同じ数値範囲は、ジョイントラジアン、デカルトメーター、または正規化されたグリッパーコマンドを意味することがあります。
意図された訓練分割の統計を計算し、必要に応じてデータセットごとまたは実体ごとのバージョンを保持します。グローバル統計を通じて検証情報やテスト情報の漏洩を避けましょう。
公開前にwriterをfinalizeする
現在の主要なドキュメントでは、最終化、Parquetのライターのクローズ、バッファされたエピソードメタデータのフラッシュ、必要なフッター情報の書き込みと書かれています。スキップすると、いくつかのバイトがあっても読み込まれない不完全なファイルが残ることがあります。
最終決定後、新しいプロセスでデータセットを再開し、構造的および意味的チェックを実行します。録音中断を、暗黙の成功最終決定ではなく、明確な救助または隔離を伴う回収ケースとして扱いましょう。
v2.1からv3への移行を検証する
移行はエピソードレベルのParquetおよびMP4ファイルをより大きなシャードに集約し、新しいエピソードオフセットを書き込みます。送信元と送信先のエピソード数、フレーム数、タスク、タイムスタンプ、フィーチャー値、カメラクリップ、成功ラベルを比較してください。
インストール版は公式の 大規模データセット移植ガイド をご利用ください。例外なくコンバーターが完了しただけでは、アクションやビデオの意味論が保持されたという十分な証拠にはなりません。
ストリーミングとランダムアクセスのテストは別々に行う
ストリーミングは完全なローカルダウンロードを避け、大規模なハブデータセットへのアクセスを改善します。その性能はシャードサイズ、シークパターン、キャッシュ、ネットワークおよび時間ウィンドウ要求に依存します。連続スループットはランダムなエピソードアクセスを予測しません。
ベンチマーク代表者、従業員のトレーニングと故障回復。ネットワークの再試行や切断された範囲が、もっともらしいが不完全なエピソードを返さないか確認してください。
PINコードおよびドキュメントのバージョン
現在のドキュメントページではmainがソースインストールブランチとして識別され、安定版リリースを指しています。APIや例はリリースごとに異なる場合があります。LeRobotパッケージのバージョン、コミット、データセット依存性、コンバータのリビジョンを記録します。
互換性を確認せずに、mainから古いインストール済みパッケージにコマンドをコピーしないでください。データセットのコードベースバージョンと移行履歴は成果物と一緒に保持してください。
構造・時系列・意味の完全性を検査する
構造試験はファイル、スキーマ、オフセット、復号可能性を検証します。時間検査では単調時間、窓の整列、枠のカバー範囲を確認します。意味論的テストはエピソードを再生し、観察された動作、動作、課題が物理的に一致していることを検証します。
データがROS 2から発生した場合、故障を記録・再生ガイドに接続します。ソース、変換、公開されたリビジョンのためにチェックサムと不変マニフェストを維持してください。
| テスト層 | 動作 | 合格条件 | 故障の暴露 |
|---|---|---|---|
| スキーマ | メタデータのロード | 期待される名前、形状、dタイプ | 互換性のない機能 |
| 索引 | サンプル境界 | 正しいシャードとオフセット | クロスエピソード |
| 時間 | モダリティの比較 | 有界偏りとカバレッジ | 行動のシフト |
| 再試合 | レンダリング状態、アクション、映像 | 物理的配列は一致します | 間違ったカメラや作業 |
| 訓練 | ロード時間バッチ | 安定したアクセスとマスク | シークやパディングバグ |
データセット受容チェックリスト付きのリリース
ドキュメントのバージョン、スキーマ、単位、フレーム、タスク、エピソードインデックス、ビデオエンコーディング、最終化、変換、チェックサム、分割統計。出典から出版までの系譜記録と再現可能な検証器を保存します。
以下のチェックリストで検証を締めくくります。
- LeRobotのコード、ドキュメント、データセットのバージョンをピン留めてください。
- Parquet、MP4、メタデータの関係を検証します。
- シャード境界を越えてランダムなエピソードを再構築する。
- 移行後のv2.1とv3の意味論を比較してください。
- クリーンな環境から最終決定、再開、配信、トレーニングを行う。
よくある質問
v3は1エピソードごとに1つのParquetファイルを作成しますか？
いいえ。複数のエピソードはより大きなParquetやMP4シャードを共有でき、メタデータによってエピソード境界が復元されます。
カメラの画像はParquetに保存されていますか？
標準v3設計では、カメラフレームはMP4シャードに、低次元信号はParquetに格納されます。
ファイル数が少なければ破損リスクは減るのでしょうか？
いいえ。ファイルシステムの負担は軽減されますが、共有シャードはメタデータ、オフセット、最終化をより重要にします。
なぜ最終決定が呼ばれなければならないのでしょうか？
バッファ化されたメタデータをフラッシュし、Parquetライタを閉じることで必要なファイル情報が完全かつ読み込み可能になります。
v2.1移行後に何を比較すべきでしょうか？
エピソード数やフレーム数、タスク、タイムスタンプ、特集、動画、統計、物理的に意味のあるリプレイを比較してください。
エピソードの意味論とシャード整合性境界
LeRobotDataset v3はファイル境界ではなくメタデータを通じてエピソードアクセスを保持します。録音、変換、または中断された最終化のたびに、オフセット、タイミング、意味を検証します。