ロボットデータセットのバージョン管理と系譜

ロボットデータセットのバージョン管理は、データ状態に不変のアイデンティティを割り当て、生のエピソードがどのようにラベル、変換ファイル、分割、統計、トレーニング入力になるかを記録します。Lineageはそのチェーンをコード、環境、モデルの成果物、評価、デプロイを通じて拡張します。

日付やフォルダ名だけでは不十分です。ロボットデータは工具、キャリブレーション、ファームウェア、コントローラー、現場、オペレーターの状況に依存し、修正されたラベルは多くのモデルに影響を与える可能性があります。システムは再現、影響分析、互換性のあるロールバックをサポートしなければなりません。

このガイドをデータ 品質監査 および LeRobotDataset v3ガイドと組み合わせて活用してください。生のキャプチャは不変に保ち、新しい派生バージョンとして補正を作成します。

不変のコンテンツ識別を使う

生ファイル、マニフェスト、派生データセットにハッシュまたは不変オブジェクト識別子を割り当てます。フレンドリーな意味論的バージョンは意図を記述でき、コンテンツ同一性はどのバイトやレコードが使われたかを証明します。

ラベルの編集やカメラファイルの置き換え後に識別子を再利用しないでください。親と変更理由を参照する新しいバージョンを作成します。

生の収録データは追記専用にする

元のセンサーと指令データが証拠です。タイムスタンプ、ラベル、キャリブレーションの関連付けが誤っている場合は、生ソースを保持し、補正レイヤーや新たな派生成果物を作成します。

権利とプライバシーの要件に基づいてアクセスと保持を管理すること。不変性は、すべての人が敏感な生データを読めるという意味ではありません。

系譜の対象	不変の同一性	必須の親	変化は
RAWエピソード	キャプチャチェックサム	デバイスとセッション	新たな捕獲
レーベルセット	注釈マニフェストハッシュ	エピソードと分類	新しいレーベルバージョン
変換出力	成果物とコードハッシュ	入力、コード、パラメータ	新しい派生版
分割	メンバーシップマニフェストハッシュ	データセットバージョン	新しいスプリットバージョン
モデル	成果物ハッシュ	データ、コード、設定、環境	新モデル

完全なエピソードマニフェストを作成する

マニフェストにはエピソード、センサー、アクション、タイムスタンプ、タスク、結果、ロボット、ツール、キャリブレーション、ファームウェア、ソフトウェア、オペレーターまたは収集モード、権利および品質状況を明記する必要があります。ストレージパスをアイデンティティにせずにチェックサムや位置を保存できます。

参照の整合性と必須フィールドを自動的に検証します。未知の値は明示的に保ち、下流のフィルターが欠落したメタデータを有効なデフォルトとして扱わないようにしましょう。

物理的な構成の変更履歴を含める

ロボットデータの意味は、ツールセンターポイント、ジョイントゼロ、グリッパーフィンガー、カメラ外在部品、ペイロードおよび制御ファームウェアによって変化します。これらのバージョンをすべてのセッションにリンクし、セッション中の変更を新しいセグメントとして記録します。

ソフトウェアコミットでは、摩耗したカップや移動したカメラ、交換されたエンドエフェクターを復元することはできません。デジタル設定と併せてメンテナンスやキャリブレーションの証拠を保持しましょう。

変換を有向グラフとして表現する

各変換は入力識別子、コード改訂、依存環境、パラメータ、実行時および出力識別子を記録します。例としては、同期、フィルタリング、画像リサイズ、アクション正規化、注釈マージ、フォーマット移行などがあります。

有向非巡回グラフはファンインとファンアウトを可視化します。1つのモデルは複数のデータセットを使え、1つの修正エピソードは多くの混合やリリースに影響を与えます。

スキーマの移行と意味的保存の検証

移行は、ジョイントオーダー、単位、エピソード境界、欠損の意味を変えながら新しいファイルを成功裏に書き込むことができます。スキーマチェックを行い、代表的なエピソードを再生してから派生版を受け入れてください。

変身時にロボット固有の行動をマッピングする際は、 クロスエボディメントアクションガイド を活用してください。可逆的なテストと移行レポートを保管してください。

バージョントレインの検証とテストメンバーシップ

分割は、メンバーシップルールと不変のIDを含むファーストクラスの成果物です。新しいデータは過去のテストエピソードを静かに再配置したり、派生した兄弟エピソードをパーティション間で移動させたりしてはなりません。

すべてのランを正確なスプリットバージョンにリンクしてください。評価主張が新しいエピソードから新しいサイトやロボットに変更された場合は、古い結果の名前を変更するのではなく、新しい分割を作成しましょう。

統計と語彙をデータセットに結合する

正規化統計、トークン語彙、タスクマップ、クラス重みは特定のデータセットと分割バージョンから導き出されます。フィルタリングやユニット変更後に古い統計を使い回すと、ファイルが読み込まれている間にトレーニングが破損する可能性があります。

計算コードと会員登録を記録してください。Fitはトレーニングデータのみで前処理を学習し、モデルと同一性を公開します。

リンクトレーニングランと環境

データの取得とアイデンティティの分割、混合設定、コードコミット、コンテナまたは依存関係のロック、ハードウェア、シード、モデル設定、チェックポイント選択、メトリクス。現在の MLflowデータセットのトラッキングドキュメント は、ロボット固有の完全な系譜設計ではなく、ツール参照の一つに過ぎません。

ラン追跡システムは入力が正確で不変である場合にのみ役立ちます。ログされたデータセット名が可変な別名ではなく、正確なマニフェストに解決されているかを確認しましょう。

耐久性のある改訂記録を持つデータセットを公開します

Hugging Faceデータセットのアップロードドキュメントは、現在のHub出版ワークフローを説明しています。リポジトリコミットは有用なリビジョン識別を提供しますが、データセットカード、ライセンス、外部成果物ハッシュは依然としてメンテナンスが必要です。

DVCやオブジェクトストアのマニフェストは、大きな成果物を管理できます。ワークフローがそれを提供しない限り、どのツールも自動的にキャリブレーション、権利、ラベルの意図、物理的構成を記録しません。

演習影響分析とロールバック

修正済みまたは撤回されたエピソードを選択し、それを消費したすべての派生データセット、統計、実行、モデル、デプロイメントを見つけます。次に展開済みモデルを選択し、そのソースと評価バンドルを再構築します。

ロールバックは互換性のあるモデル、前処理、スキーマ、アクションアダプターおよび設定を復元しなければなりません。ステータス変更に対してチェックポイントを一つだけ復元するのは有効なロールバックではありません。

系譜検査	出発点	期待トレース	失敗が確認された
繁殖	モデルリリース	正確なランと遺物	可変別名
発生源の痕跡	訓練バッチ	RAWエピソードと変身	行方不明の親
影響	修正されたエピソード	影響を受けたすべてのモデル	孤児消費者
権利	撤回された情報源	発表された派生	追跡されていないコピー
ロールバック	展開	互換フルバンドル	スキーマの不一致

系譜受理チェックリスト付きのリリース

文書識別子ルール、保持、マニフェストスキーマ、変換グラフ、分割ガバナンス、ラントラッキング、アクセス制御、権利、ロールバック手順。リンクの存在を信用するのではなく、定期的にグラフをテストしましょう。

以下のチェックリストで検証を締めくくります。

• 生の証拠は不変に保ち、修正はバージョン指定してください。
• 物理的な構成やキャリブレーションをセッションにリンクさせてください。
• バージョン変換、分割、統計、語彙。
• すべてのモデルを正確なデータと環境成果物に割り当ててください。
• 再現、双方向インパクト解析、ロールバックのテスト。

よくある質問

日付スタンプ付きのデータセットフォルダはバージョン管理に十分でしょうか？

いいえ。日付はコンテンツの身元、親、変換コード、分割メンバーシップを証明するものではありません。

誤った生ラベルは編集すべきでしょうか？

元の証拠を保存し、新たに修正されたラベルや由来を示す派生データセットを作成します。

チェックポイント内のデータセット名だけで十分でしょうか？

いいえ。不変のマニフェスト、分割、混合、統計、コード、環境の識別子を保存します。

Hugging Face、DVC、またはMLflowは自動的に系譜を完成させるのでしょうか？

いいえ。これらは有用なプリミティブを提供しますが、ロボットのメタデータ、キャリブレーション、権利、意味変換は意図的にキャプチャする必要があります。

血統はどのように検証すべきでしょうか？

モデルを生のエピソード、影響を受けたデプロイメントのソース変更、そして完全互換性のロールバックによるリリースにたどります。

不変ソース境界と再現可能モデル境界

系譜は命名規則ではなく、運用上の証拠です。リリースは不変ソースから再現可能であり、互換性のあるデータモデルシステムバンドルとして可逆的でなければなりません。