UBTECH GHRC 2026ベースラインは、Walker S2シミュレーターを起動し、キーボード遠隔操作で四つのカメラ映像と関節データを収集し、LeRobotDataset v3へ保存してACTまたはπ0方策を学習・評価する公式参照パイプラインだ。まずIsaac Sim 5.1.0コンテナとGPUドライバーを合わせ、提供データで一度最後まで再現してから自分のデータを加える方が安全である。最初から大規模学習を始めると、環境エラーとデータエラーを分けにくい。
公式ベースラインが担う範囲を先に固定する
GHRC 2026公式技術文書は、物理シミュレーション、データ収集、モデル学習、方策配備までの統合フローを提供する。Walker S2環境の状態空間は、腕関節14、グリッパー関節4、グリッパー制御命令2を合わせた20次元と説明される。カメラは頭部左右と手首左右のRGB映像四系統だ。
公式アセットと学習データはHugging Faceへ別途置かれ、コードリポジトリーからサブモジュールとデータセットを取得する。ベースラインは参加者の出発点をそろえる実装で、実機Walker S2の全センサー、安全制御、動力学を完全再現するデジタルツインではない。仮想環境で高得点でも、実機配備にはSim-to-Real検証が残る。
| 構成要素 | 公式ベースラインでの役割 | 最初の確認事項 |
|---|---|---|
| Isaac Sim | Walker S2の物理環境とセンサーレンダリング | コンテナ版、GPU認識、リアルタイム係数 |
| キーボード遠隔操作 | タスク実演とエピソード生成 | 入力機器パス、制御遅延、中止キー |
| LeRobotDataset v3 | 映像・状態・行動・メタデータ保存 | カメラ順、fps、エピソード成功ラベル |
| ACT | 行動チャンクを予測する模倣学習基準線 | チャンク長、観測窓、メモリー使用量 |
| π0 | 映像・言語・行動を扱う方策基準線 | チェックポイント、前処理、作業文の一貫性 |
導入で詰まりやすいのはコードよりドライバーとコンテナ
公式文書の最小構成はCPU 4コア、RAM 32GB、SSD 50GB、GeForce RTX 4080、VRAM 16GBである。推奨は8コア、RAM 64GB、SSD 500GB、RTX 5080、理想構成は16コア、RAM 64GB、1TB NVMe、RTX PRO 6000 Blackwell 48GBと記載される。モデル学習も同時に行うなら、保存容量とVRAMに余裕が要る。
対応OSの表にはUbuntu 22.04/24.04とWindows 10/11があるが、Dockerコマンドとキーボード機器の例はLinux中心だ。基本イメージは`nvcr.io/nvidia/isaac-sim:5.1.0`、CUDAは12.8と案内される。文書はドライバー580系を推奨し、595を入れた場合はDocker内のIsaac Simが後でクラッシュし得ると警告する。新しいドライバーが常に適するわけではない。
構築前に`nvidia-smi`、DockerからのGPUアクセス、NVIDIA Container Toolkit、空き容量を別々に検査する。次に公式イメージのまま空シーンを開き、最後にGHRCアセットを読み込む。全依存関係を一度に入れると、黒画面、レンダラークラッシュ、アセット欠落のどれが原因か絞りにくい。NVIDIA Isaac Sim公式文書の版別既知問題もGHRC固定版と照合したい。
初回実行では四つのカメラ映像と20次元の状態データを同期する
画面にWalker S2が現れ、キー入力が通ってもデータ工程が正常とは限らない。頭部左右、手首左右の映像が正しい名称・順序で保存されるかを確認する。関節状態と命令が同じタイムスタンプ軸を使うか、フレームドロップ時にメタデータが残るかも見る。左右カメラを取り違えると学習自体は進んでも、手と物体の関係を誤ったモデルができる。
遠隔操作入力はLinuxの`/dev/input/event*`からキーボードを探す。Dockerへ機器をマウントしなければ、ホストには入力が見えてもシミュレーターへ届かない。自動検出が複数機器を指す場合は、`/dev/input/by-id/`の安定リンクを使うとよい。コンテナ再起動でevent番号が変わる問題も減らせる。
.jpg){kind=link}
LeRobotDataset v3ではフォルダーよりエピソード定義が重要
LeRobotDataset v3は、多様なロボットの映像、状態、行動を共通方式で保存・読込みする形式だ。Hugging Face LeRobot公式文書はデータセットツール、ロボットインターフェース、学習方策を一つのエコシステムで提供する。GHRC基準線がこの構造を使うため、公開データと自社エピソードを同じ道具で扱える。
ただし、ファイルが開けば良いデータというわけではない。開始状態、作業文、成功・失敗基準、操作者介入、カメラfps、関節周期を固定する。`Part_Sorting`、`Conveyor_Sorting`、`Foam_Inlaying`、`Packing_Box`のようにタスク名が違えば、物体と終了条件も分ける。失敗試行を黙って削除すると、復旧場面を学べず評価の分母もゆがむ。
| データQA項目 | 合格基準の例 | 問題時の現象 |
|---|---|---|
| カメラ対応 | head_left/right、wrist_left/rightがサンプルと一致 | 左右の手が誤った映像へ対応する |
| 時刻同期 | 接触時の映像・状態・行動のずれが許容範囲内 | 把持前から力命令が記録される |
| 開始状態 | 物体・ロボットの位置分布とリセット規則を記録 | 特定配置でしか成功しない |
| 作業文 | 同じタスクには同じ意味と名称を使う | π0が文の違いを別タスクと解釈する |
| 分割 | 場面・物体単位で学習と評価を分離 | 検証点は高いが新配置で失敗する |
| 失敗保存 | 中止理由と最後の有効フレームを残す | 失敗率と復旧能力を算出できない |
ACTは再現性の高い出発点、π0は入力条件が広い
ACTは短い行動チャンクを予測し、長い操作を安定してつなぐ模倣学習系だ。入出力が比較的明確で、データパイプラインの動作確認に適した基準線になる。まず公式チェックポイントとデータで学習・推論を再現し、小量データを意図的に除く、カメラを隠すなどして感度を見る。
π0系は映像、自然言語の作業指示、ロボット状態を合わせて扱う汎用方策の方向だ。多様な作業へ広げられる可能性がある反面、文の前処理、チェックポイント互換性、メモリー要件、行動表現をそろえる必要がある。ACTより新しい名称だから優れるとは決められない。同じ評価エピソードと成功判定で比べる。概念はロボット基盤モデルで掘り下げている。
両モデルの比較では、学習損失と平均成功率だけを見ない。物体別の失敗、長タスクの累積誤差、カメラ遮蔽、開始位置変化、誤った作業文への行動を分けて確認する。シードとデータ分割を三つ以上変えてばらつきを残せば、偶然良かったチェックポイントを選ぶ危険が減る。
学習前に推論結果を評価データとして保存する
公式の方策推論例は`lerobot_record.py`へ`walker_s2_sim`とチェックポイントパスを渡し、実行結果を評価データセットへ保存する。映像記録を有効にし、公式表では30fps、エピソード60秒、評価50エピソードが初期値として案内される。評価リポジトリー名を`eval_`形式で分ける指針もある。
この構造を生かしたい。失敗場面を映像、状態、行動とともに再度開ければ、原因が認知か制御かを判断できる。映像だけを見て手作業で成功数を数えると、チェックポイントと環境版が分離しやすい。結果データへGitコミット、アセット版、方策ハッシュ、ランダムシード、ドライバー情報を加えれば、別チームも同じ失敗を再現しやすい。
シミュレーション後も実機の遅延・摩擦・安全制御が残る
Isaac Sim内の摩擦係数、関節応答、カメラノイズは実機Walker S2と完全には一致しない。仮想環境ではハンドが箱へ正確に触れても、実機では校正誤差、通信遅延、モーターバックラッシュ、照明反射で接触点が変わる。Sim-to-Realの基礎で扱うドメインランダム化と少量の実データ補正が必要になる。
実機配備前は、速度、力、作業領域の制限を学習方策外の安全層へ置く。空間を空け、軽い対象物から始め、人の接近時に即時停止するかを確認する。仮想環境の成績は方策候補を選ぶ根拠であって、人の近くで使う安全認証ではない。全体像はフィジカルAIの意味と範囲へつながる。
初日の目標は高得点ではなく完全な再現記録
初日は公式環境をビルドし、提供チェックポイントで二エピソードを実行して映像、状態、行動の保存を確認すればよい。二日目は公式データの小区分でACTを学習し、損失と推論を再現する。次にπ0を同じ評価セットで動かし、最後に自分の遠隔操作データを少量加える。
中間結果を飛ばさなければ、問題箇所を特定できる。コンテナ、アセット、データ、モデル設定を段階別に確認できるからだ。GHRCベースラインの価値は最新モデルを一度動かすことより、参加者が比較可能な環境、データ、評価フローを共有できる点にある。
公式スコアにない診断も残す。成功率が同じでも、一方は序盤で安全に中止し、他方は最後に物体を落とす場合がある。完了時間の中央値と最悪値、失敗直前の行動、安全制限の発動回数を併記すると、単一スコアが隠す差が見える。評価場面を新しい物体、照明、開始姿勢へ分け、各群の結果を公開すれば、公式データへ過適合したチェックポイントと一般化する方策を区別しやすい。
よくある質問
ACTとπ0のどちらを先に再現すべきか
一つだけを選ぶ必要はない。まずACTでデータフローを検証し、同じ評価条件でπ0の追加効果と計算費を測る順序が実用的だ。
LeRobotDataset v3へ保存すれば同期とラベルも自動で正しくなるのか
ならない。保存形式は統一されても、カメラ対応、時刻同期、開始状態、成功ラベル、学習・評価分離は利用者が検証する。
Isaac Simで成功した方策をWalker S2へそのまま配備できるのか
配備できない。物理、センサー、遅延の差が残り、実機の安全制限と校正が要る。仮想結果は実機試験候補を絞る根拠だ。
確認した公式資料
最終確認：2026年8月23日