6次元物体ポーズは、三次元の平行移動と三次元回転を含む剛体変換です。通常はカメラに対する物体フレームや逆数を表しますが、6つの数字だけでは方向、タイムスタンプ、対称性、不確実性を示すものではありません。
ロボットのグリップにはカメラポーズ以上のものが必要です。カメラの本質的要素、奥行きスケール、手と目のキャリブレーション、取得時のロボット状態、オブジェクトからグラップまでのジオメトリ、到達可能性、衝突判定などが実行可能なツールポーズに影響を与えます。
このガイドは ロボット把持計画ガイド および ロボット座標系ガイドと組み合わせて使用してください。名前付きの変換と時間を、知覚から動きへの完全な連鎖に持ち込みます。
平行移動、回転、変換方向を定義します
平行移動は、あるフレームの原点を別のフレームに位置づけます。回転は軸の向きを表します。行列、四元数、回転ベクトル、またはオイラー角は同じ向きを符号化できますが、それぞれの表現には慣習や特異点があり、それを文書化する必要があります。
カメラからオブジェクトへの変換やオブジェクトからカメラへの変換は逆変換です。正しい数値の回転と並進を誤った方向に適用すると、ロボットは鏡像や遠い姿勢に陥る可能性があります。変数、メッセージ、ログには明示的なフレーム名を用いましょう。
ポーズがCADオブジェクトの原点、可視インスタンスフレーム、オブジェクトセンター、またはタスクデータ系のいずれかを指すのかを定義します。
オブジェクトオンボーディング証拠を選択します
モデルベースのシステムは、CADジオメトリ、レンダリングされたビュー、またはテクスチャ付きテンプレートを使用することがあります。モデルフリーシステムでは、参照画像やオンボーディングシーケンスを使用することがあります。RGB、RGB-D、そして深さのみのパイプラインは、テクスチャ、スケール、欠如した奥行き、ライティングに関して異なる仮定をしています。
現在の BOPベンチマーク は6DoFポーズおよび関連する課題、最近のモデルベースおよびモデルフリーの課題をカバーしています。評価タスクを展開中のオンボーディングやセンサー条件に合わせます。
| 入力証拠 | 一次強み | 典型的な依存関係 | 破壊圧力 |
|---|---|---|---|
| RGBプラスCAD | テクスチャとジオメトリ | 正確なレンダリングとモデル | 外観のギャップ |
| RGB-DとCADの組み合わせ | メートル法の表面証拠 | 奥行きの品質とアライメント | 反射深度や欠損深度 |
| 参考画像 | 高速オブジェクトオンボーディング | カバレッジを見る | 見えない登場 |
| 深度または点雲 | 形状の整列 | 初期ポーズと重なり | 対称性と閉鎖 |
| 複数視点 | より多くの報道 | 時期と関連 | 動く物体 |
カメラの内蔵と深度スケールをキャリブレーション
焦点距離、主点、レンズ歪みは画像のピクセルをカメラの光線にマッピングします。誤った内在モデルは、画像全体で位置や向きの誤差を生み出します。トリミング、リサイズ、デジタルズームなどは、パラメータが一貫して変換されない場合、キャリブレーションが無効になることがあります。
RGB-Dシステムはまた、深度スケール、深さから色への登録、無効な深度処理も必要です。既知のターゲットを複数の距離や画像位置で検証します。
カメラとロボットの関係を校正する
アイインハンドシステムは、移動ツールに対してカメラ変換が必要です。固定カメラはロボットベースやワークセルに変換する必要があります。手と目のキャリブレーション精度は、ロボットの姿勢精度、ターゲットジオメトリ、多様なキャリブレーション運動に依存します。
掲げた物理的なターゲットを使って、基地から物体への完全な結果を確認してください。小さなカメラの再投影誤差が、ロボットの接近誤差が小さくなるとは限りません。
ポーズを解く前に対応関係を構築する
共通のパイプラインは、対象を検出またはセグメント化し、2次元から3次元への対応やキーポイントを予測し、1つ以上のポーズを解き、それらを精緻化・スコアリングします。対応の質と空間分布が重要です。多くの集まった点はポーズをうまく制約しにくいことがあります。
インリエカウント、目に見える分数、残留パターンを保持してください。高いニューラルネットワーク信頼度は幾何学的整合性に代わることはできません。
明示的なカメラジオメトリを持つPnPの使用
パースペクティブ・アンド・ポイントは、既知の3D物体点、その2D画像投影、カメラの内蔵要素からカメラと物体の姿勢を推定します。ソルバーによって点数、平面性、初期化の処理方法が異なります。ロバストサンプリングは一部の外れ値を排除できますが、有効な不敵対構造が必要です。
OpenCV solvePnPのドキュメントには利用可能なメソッドや慣習が一覧化されています。ユニットテストで正確なソルバー、フラグ、点配置、返された変換方向を検証します。
| チェック | 何を捕まえるか | メートル法 | 拒否例 |
|---|---|---|---|
| 再投影 | 画像-幾何学の不一致 | ピクセル残差 | 大きな構造誤差 |
| 深さの一貫性 | スケールや表面が間違っている | 点からモデルまでの距離 | 見えない表面 |
| 対称性集合 | 等価回転 | 対称認識姿勢誤差 | 任意の角度のペナルティ |
| 変換連鎖 | フレームまたはタイムエラー | ベースフレームターゲット残差 | 古いロボット状態 |
| グランプ裁判 | 課題の不一致 | 成功と接触 | 衝突または到達不可能 |
悪い初期ポーズを信用せずに深度の整列を細かくする
深度や点雲の精緻化は、 ICP や他の目的を用いて観測された表面をモデルに整合させることができます。これは局所的な最適化であり、特に片側しか見えない場合、誤った初期仮説を強化することがあります。
対応距離を制限し、無効な面を排除し、最終的なポーズと画像証拠を比較します。 ポイントクラウド登録ガイド は局所収束と縮退性を説明しています。
訓練と評価におけるオブジェクト対称性の表現
円筒、繰り返し留め具、回転対称の部品は、視覚的にも物理的にも同等の複数のポーズを生み出すことができます。一つの恣意的なローテーションを誤ったと罰則すると、誤解を招くトレーニングや指標を生み出します。
オブジェクトおよびタスクジオメトリから離散または連続対称変換を定義します。下流のグリップやコネクタの向きが視覚的対称性を破る場合、複数の候補を保持します。
別個の遮蔽、切断、インスタンスの曖昧さ
遮蔽はオブジェクト表面を隠し、切断は画像の端の部分を除去し、同様の事例は関連付けの曖昧さを生み出します。反射性や透明性の材料は奥行きを無効にすることがあります。これらの失敗には異なるデータと拒否ポリシーが必要です。
可視分数、画像境界接触、深度カバレッジ、競合するインスタンススコアを報告します。すべての失敗を1つの信頼度数値に圧縮しないでください。
取得時の変換
アイインハンドカメラはロボットと共に動き、ターゲットも動くことがあります。ロボットのジョイント状態とフレーム変換は画像や奥行き取得に対応しており、ホスト到着時の変換は使いません。レイテンシーは相対運動に比例した位置誤差を生み出します。
ロボットの時間同期ワークフローを適用し、タイムスタンプイベントを記録します。検証済みの動的モデルと境界地平線のみで運動を予測してください。
姿勢推定の指標とタスク成功率を分けて評価する
平行移動、回転、再投影、対称性認識型の表面メトリクスは異なる誤差を記述します。データセットの平均値は、1つのオブジェクト、ポーズ、オクルージョン、またはレンジの故障を隠すことができます。条件ごとの分配と却下カバレッジを報告してください。
次に実際の握手到達可能性、アプローチクリアランス、接触、揚力、位置を測定します。ポーズはビジョン指標を満たしても、グリップオフセットが悪いかビンと衝突することがあります。
運用文脈を含むポーズ仮説を公開する
出力フレーム名、変換方向、タイムスタンプ、オブジェクトの同一性、対称性仮説、不確実性、可視的証拠、拒否理由。下流のモーションソフトウェアは、推定値が新しいもの、予測されたもの、洗練されたもの、古くなったものかを把握できるはずです。
簡潔なチェックリストとともにリリースしましょう。
- 名前、ポーズ、方向、オブジェクト基準。
- 内在成分、深度、手と目のキャリブレーションを検証してください。
- 幾何学的残差と対称性候補を保存します。
- ロボットのタイムスタンプに合わせて変形します。
- ポーズ指標と実行されたグリップの両方を検証してください。
よくある質問
6Dのポーズは何を意味しているの？
3つの平行移動座標と3つの回転自由度;これは6つの独立したセンサー測定を意味しません。
2D検出器だけで掴みを支えられるのか？
画像領域を局所化することは可能ですが、一般的な3Dグラスプでも深度や幾何学的、キャリブレーションの仮定が必要です。
RGB-Dの方が常に正確ですか？
いいえ。深度の欠損、ノイズ、誤登録は姿勢を劣化させることがあります。性能は材料、射程、校正、方法によって異なります。
対称円筒はどのようにスコアリングされるべきでしょうか？
任意の角度を一つにするのではなく、タスクで定義された等価な回転の集合や対称性に対応した曲面計量を用いてください。
なぜ正しいポーズでも握力が失敗するのでしょうか？
手の目、タイミング、掴みのオフセット、到達可能性、衝突、接触、物体の動きはすべて下流の要素として残ります。
ポーズ仮説と実行可能なグラスプ境界
6次元ポーズ推定は、移動許可ではなく、名前付き座標での仮説です。ゲートロボットの動きをキャリブレーション、時間、到達可能性、衝突、タスクの証拠付きで表現します。