ロボット深度カメラ:ステレオ vs ToF vs 構造化光

ロボット深度カメラは、作業量、物体表面、照明、動き、必要な更新タイミングから選択すべきです。ステレオ、飛行時間、構造光システムは異なる光学的証拠から深度を推定するため、それぞれ特徴的な穴、バイアス、干渉があります。公表された精度の一つの値は、これらの条件を説明できません。

ステレオは対応する画像点を三角測量し、ToFは光の伝播時間や位相を推定し、構造光は既知の投影パターンの変形を観測します。製品ファミリーはアクティブ照明、RGB、慣性センサー、オンボード処理を組み合わせることができ、技術ラベルだけでは完全な仕様ではありません。

このガイドは ロボットキャリブレーションガイド および ロボットセンサーフュージョンガイドと併用してください。ロボットに搭載されたカメラと、それを消費する下流のグラッシング、ナビゲーション、検査指標で深度を検証します。

まず測定可能なタスクボリュームを定義します

マップの最小および最大範囲、水平・垂直視野、ロボットの姿勢、予想される遮蔽、必要な空間分解能。カメラは一つのポーズで作業スペースをカバーしても、動き中にグリッパーや棚のリップ、ビンの角を失うことがあります。ケーブルの曲がりや保護窓の制約を含めてください。

タスク要件を測定可能な出力に変換します:有効深度カバレッジ、バイアス、再現性、エッジローカライゼーション、外れ値率、レイテンシ。航法システムは遠くのまばらな深さに耐えられるかもしれませんが、小規模なピッキングはミリスケールのエッジバイアスで失敗することがあります。

RealSense D435ステレオ深度カメラは小型三脚に取り付けられています
ステレオ深度カメラは、ペア化されたイメージャーと赤外線プロジェクターおよびRGBセンサーを組み合わせたものです。設置状況と現場条件が利用可能な深さを決定します。出典: マーク・アウレダス(Wikimedia Commons)ライセンス: CC BY-SA 4.0

ステレオ深度は画像の対応に依存します

ステレオシステムは左右画像の一致する特徴を見つけ出し、距離、焦点距離、基準線から深度を三角測量します。誤差は距離とともに大きくなります。なぜなら、差が小さくなるからです。質感、露出、ピント、幾何学的キャリブレーションは対応に直接影響します。

アクティブステレオは弱いテクスチャの表面に投影赤外線テクスチャを追加しますが、強い日光や他のプロジェクターがそのパターンを洗い流したり混乱させたりします。パッシブ機能は屋外でも機能する場合があります。 RealSense D400ステレオドキュメント は製品アーキテクチャを説明しています。設置されたロボット自体も独自のテストが必要です。

方法深度証拠典型的な強度典型的な故障
パッシブステレオ自然像の不均衡屋外のテクスチャー空白面
アクティブステレオ差異と投影テクスチャ室内用ローテクスチャー太陽光か干渉か
ToF変調光遅延または位相コンパクトな高密度深度多重経路と飽和
構造光既知のパターン変形精密制御シーン環境光と動き
センサー融合複数の校正されたソースカバレッジと継続性時間誤差またはフレーム誤差

ToFはアクティブライトの帰還タイミングを測定します

飛行時間システムはシーンを照らし、パルス移動時間や位相シフトからの距離を推定します。コンパクトなベースラインで密度の高い奥行きを作り出せ、目に見えるテクスチャを必要としません。変調、積分時間、信号強度は距離、精度、動作挙動に影響を与えます。

マルチパスは、光が複数の反射によってピクセルに届き、角や光沢のある表面、複雑な形状にバイアスされた奥行きを生み出す現象です。非常に暗いターゲットはほとんど信号を返さず、反射ターゲットは飽和することがあります。すべての数値深度を同じように扱うのではなく、信頼度や振幅チャネルをチェックしましょう。

構造光は投影されたパターンを観測します

構造光カメラは既知の空間パターンを投影し、その変形から形状を推測します。制御された屋内条件下では、計測やビンピッキングに役立つ詳細な表面形状を提供できます。プロジェクターとカメラのジオメトリ、ピント、露出はキャリブレーションされなければなりません。

周囲光はパターンコントラストを低下させ、動きは連続したパターンの取得を歪め、複数のユニットが干渉することもあります。産業用システムは符号化された露光や堅牢なキャリブレーションを使うことがありますが、サイクルタイムと物体の動きはキャプチャ方式と一致しなければなりません。現在の Zividナレッジベース はそのようなワークフローの一例を記録しています。

5段階ロボット深度カメラ評価ワークフロー
深度の質は、ロボットが実際に見て動きている場所で測定しなければなりません。出典:Physical AI Lab。

表面材料には意図的な破壊マップが必要です

黒い素材は能動光を吸収し、光沢のある物体は鏡面反射を生み出し、透明な物体は背景からの光を透過または屈折させます。細かい金属、ラップ、濡れた表面は色が同じでも異なる破損の仕方があります。一般的なキャリブレーションターゲットではなく、代表的なオブジェクトセットを構築しましょう。

領域を有効、不確実、欠落、物理的に間違っているとマークしてください。フィルタリングされた深度マップのみを保存すると故障メカニズムが隠れます。赤外線や強度画像、信頼度値、カメラ設定を保存し、誤差を信号、対応、または後処理に追跡できるようにします。

状態観察された症状考えられるメカニズム有用なチェック
暗い表面穴やノイズの多い範囲低リターン振幅または赤外線画像
光沢のある表面飛行ポイント鏡面反射視野角スイープ
透明なアイテム背景の深さ透過または屈折代替モーダリティ
日光活性信号の低下プロジェクターのウォッシュアウト屋外曝露スイープ
2台のカメラ周期的腐敗光学的干渉段階捕獲テスト

視野範囲と視野はロボットの姿勢と相互作用します

最小距離ではグリッパーや閉じたビンの中身が見えなくなることがありますが、最大距離は差や返却信号が不足しすぎることがあります。広い視野はカバレッジを増やしますが、対象物あたりのピクセル数を減らし、エッジの歪みを拡大します。正確なレンズと解像度モードを評価してください。

リーチと視認性のシミュレーションをスクリーニングツールとして使い、設置されたシステムを測定します。ロボットの振動、保護ガラス、マウントのコンプライアンス、ケーブルの力が校正をずらすことがあります。ツールの変更やカメラからタスクへのジオメトリを変えるペイロードを含めてください。

タイミングと同期:完全な空間的精度

完璧な奥行きフレームが、別の時代のロボットポーズと組み合わさると誤りが生じます。露出時間、転送遅延、深度、RGB、慣性データ、関節状態のクロック関係を記録します。ローリングシャッターやシーケンシャルプロジェクションは、フレーム内の動きに依存するジオメトリを作り出すことができます。

動くカメラや物体に対しては、スピードスイープや急激な方向転換をテストしてください。プランナーがポイントクラウドを使用する場合のエンドツーエンドの年齢を測定します。ハードウェアのトリガーは助けになるかもしれませんが、完全なタイムスタンプとバッファリングパスは依然として検証が必要です。

キャリブレーションには内在性、外在性、深さスケールが含まれます

イントリンシックは投影と歪みを記述し、外部的要素はカメラをロボットや世界枠に置き、深さスケールの保存値は物理的な距離にマッピングされます。温度、衝撃、焦点、マウントの変化がこれらのパラメータに影響を与えることがあります。すべてのデータログにキャリブレーション識別子を必ず残してください。

フィッティングに使われるターゲットポーズではなく、タスクボリューム全体に分散した独立したジオメトリで検証してください。タスクユニットの残差を報告し、エッジや平面もチェックしてください。小さな平均平面誤差でも、把握を破る境界成果物と共存することがあります。

後処理は確実性を発明するのではなく、暴露させるべきです

空間フィルター、時間的平滑化、穴の埋め込み、外れ値の除去により、奥行きをよりきれいに見せることができます。また、遅延を加えたり、動きをぼやけたり、見えない領域に推定値を埋めたりします。下流のタスクの証拠で調整し、妥当性や自信のシグナルを保持しましょう。

故障時の生結果とフィルタリング済みの結果を比較してください。プランナーは、深さが古くなったりサポート不足になったりしたときに分かっているはずです。埋められた画像を安全主張に変換しないでください。通常の3Dカメラは、全機能が該当する評価と検証を受けていなければ安全センサーとは言えません。

要因計画に基づくシーン試験を行う

距離、角度、照明、物体の素材、カメラの動き、物体の動き、近くのアクティブセンサーなどで、一度に一つの要素を変化させます。変化を測るために何度も繰り返します。ウォームアップや動作温度も含めてください。投影やタイミングがずれることがあるからです。

そして最悪の要因を組み合わせて展開したシーンを再現します。設定、ファームウェア、生のストリーム、タスクの成果を保存します。カメラは、ロボットが有界の失敗と定義されたフォールバックで、その把握、位置定位、または検査基準を満たした場合にのみ合格します。

データシートをテスト仮説として扱う

メーカーの射程や精度値は、指定された目標、モード、環境を使用します。Orbbecの Femto MegaページZivid 3 XL250のデータシート は有用な一次参考ですが、両者の指標は互換性がありません。

受け入れ時に使用した正確なファームウェア、露出、エミッター出力、解像度、フィルタリング設定を記録してください。アップデートや再マウント後に再度確認してください。理想的な照明下で最も魅力的な点雲からではなく、測定された故障マップとライフサイクルサポートから選択してください。

  • タスク量と下流指標を定義します。
  • 本当に暗くて光沢のある透明な物体をテストしてください。
  • 動き、タイミング、同期を測定しましょう。
  • 体積全体で独立して校正を検証します。
  • 生の証拠と明確な非公式な対応を保持してください。

よくある質問

屋外で一番効果的な深度カメラはどれですか?

どんな方法もすべての屋外シーンに勝てるわけではありません。強い日光は能動照明を減らしがちですが、パッシブステレオは依然として質感と十分な露光が必要です。実際の射程と表面をテストしてください。

ToFはいつもステレオより正確ですか?

いいえ。精度は距離、信号、多重経路、キャリブレーション、解像度、動き、フィルタリングに依存します。同じ条件下でのタスク関連誤差を比較してください。

深度カメラは透明な物体を測定できますか?

部分的にそうなることもありますが、透過や屈折によって背景や無効な形状が返されることが多いです。照明や眺望、または感知方法の代替が必要になる場合があります。

深さ解像度が高いほど、より良いピッキングが保証されるのでしょうか?

いいえ。キャリブレーション、エッジ品質、レイテンシ、オクルージョン、オブジェクトポーズ推定が支配的になることがあります。成功と失敗の回復を評価しましょう。

標準的な深度カメラが安全スキャナーの代わりになることはありますか?

完全な検知および保護機能がその安全用途のために設計・評価・検証されない限り、そうはならない。通常の深度出力は機能安全上の主張ではありません。

深度感知アプリケーション境界

奥行き性能は、カメラモード、ファームウェア、光学系、マウント、シーン、ポストプロセッシングによって異なります。インストールされたシステムの検証を行い、未落または信頼性の低い深さに対して明示的な処理を保持してください。