同じフレーム内でローリングシャッター歪みやモーションブラーが発生することがありますが、原因は異なります。ローリングシャッターは画像の行に異なる取得時間を割り当てます。モーションブラーは、各行やフレームの露光中に動く画像を積分します。
フレームレート、露光時間、総センサー表示は別々の数値です。フレームレートを上げても露出時間が自動的に短くなったり、行のタイミングが消えるわけではありません。グローバルシャッターは列ごとのタイミング差をなくしますが、露出時にはぼやけることがあります。
このガイドをイベント 対フレームカメラガイド、 VIOおよび SLAM ガイドと一緒に使ってください。搭載されたカメラ、レンズ、光、ロボットの軌道を一緒に特徴づけてください。
露出統合から行のタイミングを分離する
ローリングシャッターでは、露出の開始または終了が順番に行われます。したがって、動く線や物体、カメラは画像上で異なるポーズを取ることができます。直線構造は歪み、回転するブレードは曲がり、ステレオジオメトリは内部的に不整合になることがあります。
モーションブラーは、投影された特徴が動く間に光が蓄積されるため発生します。すべてのピクセルが同じグローバルな開始・終了を共有しても、各露光間隔内に特徴を分散させます。
緩和策を選ぶ前に両方の影響を診断してください。
グローバルとローリングシャッターの取得を比較する
グローバルシャッターは共通の間隔で全アレイを露出し、その結果を保存または読み取ります。ローリングシャッターは列をシーケンスし、センサーの実装によってコスト、ノイズ、ダイナミックレンジ、解像度の優位性を提供します。
Baslerのロールシャッター概要では、一般的なローリング挙動や成果物を説明しています。ベンダーが複数の取得パターンをサポートする場合があるため、正確なカメラモデルとモードを確認してください。
| タイミング項 | 意味 | 一次遺物 | 測定方法 |
|---|---|---|---|
| 露光時間 | 1行またはフレームあたりの積分時間 | モーションブラー | 制御された移動エッジ |
| ラインタイム | 列開始間の遅延 | 行依存ポーズ | 点滅線またはパターン |
| フレーム読み取り | 最初から最後までの列のタイミング | 歪んで揺れ | ベンダーデータとモーションテスト |
| フレーム周期 | フレーム間の時間 | 時間的サンプリング | トリガーログ |
| 輸送遅延 | ホストへの買収 | ステイルステート融合 | ハードウェアイベントタイミング |
露出、表示、フレーム期間を別々に記録する
露光時間はフレーム周期より短く、読み出しがその時間の大部分を占めることもあります。自動露出とゲインは作業中に変化し、フレームレートが一定でもぼやけやノイズが変化します。
シャッターモード、露出、ゲイン、ラインタイミング、トリガー状態をすべてのデータセットで記録します。 Baslerの露出ドキュメント は、露出構成や実際の露出がカメラのファミリーやモードによってどのように依存するかを示しています。
画像の速度と露出による予算のぼかし
ピクセル単位のぼかしの最初の推定値は、投影画像速度に露光時間をかけたものです。画像速度はロボットや物体の動き、奥行き、焦点距離、回転に依存します。近接物体やカメラの回転は、控えめなデカルト速度でも激しい動きを生み出すことがあります。
特徴サイズまたはモデルの許容差から許容されるピクセルスメアを設定し、露出ターゲットを導出します。フォーカス、振動、画像処理により見かけのぼやけが加わるため、実際の光学機器で検証してください。
光子やノイズに対するトレード曝露
露光時間が短くなると動きのブレは減りますが、集まる光子の数は少なくなります。絞りを開けたり、光を加えたりセンサーの利得を上げたりすると、被写界深度、まぶしさ、熱、パワー、ノイズなどの影響が伴います。
下流の精度を測定せずにゲインを上げないでください。シャープだがノイズの多い画像は、安定した特徴が少なかったり、奥行きが信頼性に欠けることがあります。ちらつく照明は列のタイミングと相互作用し、帯状の線を形成します。
画像行ごとの露光差とハンドアイ座標を考慮する
動くロボットの手首にカメラを装着すると、1回の表示中にポーズが大きく変わることがあります。フレーム全体に1つの剛体カメラポーズを割り当てることは射影幾何学に違反します。高速回転は特にダメージが大きく、シーンの奥行きに関係なく画像全体の光線が変化します。
軌道とタイムスタンプのデータを使ってフレーム内のポーズ範囲を推定します。ロボットの動作を遅くしたり、読み取り速度を速くしたり、必要な精度が差に耐えられない場合はシャッターモデルを使ったりしてください。
| 失敗の症状 | 原因としては | 識別テスト | 緩和クラス |
|---|---|---|---|
| 斜めの垂直辺 | ローリング翻訳 | 動く直線エッジターゲット | より高速な読み取りやモデル |
| 曲がった回転物体 | 行時回転 | 既知のターンテーブル | グローバルシャッターまたは補正 |
| 均一ソフトエッジ | 露出のブレ | 露出スイープ | より明るいか、短い露光を |
| 水平帯 | ライトフリッカープラスロー | ランプ周波数試験 | 照明または同期 |
| ポーズ残差は行ごとに異なります | 誤ったフレームタイムモデル | 行ごとの再投影 | ラインタイムキャリブレーション |
ジオメトリが1回必要な場合はグローバルシャッターを選択します
高速な操作、計測、立体深度、視覚慣性推定は、フレームが一つのカメラポーズによりよく合うため、グローバル露出の恩恵を受けることが多いです。これは画質の向上やぼかしのなさを保証するものではありません。露出、照明、センサーノイズはそのままです。
シャッターラベルだけでなく、測定されたタスク誤差からカメラを選んでください。強い光でゆっくり観察するとロールシャッターがうまくいくかもしれませんが、手首の動きが速い場合はうまくいかないかもしれません。
タイムスタンプイベントとハードウェアトリガーを定義します
タイムスタンプはトリガー受信、露出開始、フレーム参照行、露出中間点、読み出し完了、ホスト到着などを指します。ローリングシャッターの場合、単一の時間がすべての行を正確に表しているわけではありません。運転手が使った参照を文書化してください。
ロボットの時間同期ガイドを使って、カメラクロックとロボットの状態を関連付けてください。正確さが重要な場合は、トリガーから露出までの遅延やジッターをハードウェアの証拠で検証してください。
ローリングシャッター補正は有効なモーションモデルでのみ適用する
ソフトウェアはIMU、ロボット運動学、画像運動から列ごとのカメラポーズを推定し、観測データを共通時刻に歪めることができます。補正にはライン遅延、読み出し方向、内在要素、そして十分に正確な連続運動が必要です。
CVPRのローリングシャッターカメラの論文では、幾何学と補正について論じています。補正は、重度のぼやけ、彩度、または閉塞によって失われた情報を復元することはできません。
深度とマルチカメラジオメトリは時間依存として扱う
ステレオペアは、露光の同期と対応する行タイミングが必要です。色や奥行きが異なるシャッターやタイムスタンプを使うと、動き中にRGB-Dのアライメントが失敗することがあります。センサーが異なる時間を観測する場合、剛体外在変換は不十分です。
ロボットの深度カメラガイドを使い、複数の深さで動くエッジをテストしてください。2Dの映像の見た目だけでなく、3Dの誤差を測定してください。
静的光学と動的取得を別々に検証
まずはフォーカス、歪み、そして固定されたキャリブレーションターゲットから始めます。次に、既知の速度の線形エッジ、回転するターゲット、ちらつく光、そして実際のロボットの軌道を使います。スイープ露出、ゲイン、表示モード、フレームレート、照明。
ピクセルのズレ、線の曲率、再投影誤差、追跡速度、深度誤差、エンドツーエンドの遅延を測定します。自動制御遷移と熱定常状態を含めること。
すべての運用ログで取得状態を保持する
シャッターモード、露出、ゲイン、ラインタイミング、フレームタイムスタンプイベント、トリガー状態、カメラ温度、同期ロボットの動きでRAW画像を記録できます。これらの値がなければ、曲がったラインは誤ったキャリブレーションと診断されることがあります。
簡潔なチェックリストとともにリリースしましょう。
- 曝露量と総計量値を独立して測定してください。
- 最悪の映像の動きをぼかし予算に変換します。
- 行のタイミングとタイムスタンプの意味を確認してください。
- 照明、奥行き、ロボットの動きを一緒にテストします。
- 補正はキャリブレーション済みのモーションエンベロープ内でのみ使用してください。
よくある質問
ロールシャッターとモーションブラーは同じものなのでしょうか？
いいえ。ローリングシャッターは行の時間をミックスします。モーションブラーは露光中の動きを統合します。共存できる。
フレームレートが上がればローリングシャッターはなくなりますか？
いいえ。期間は短縮されるかもしれませんが、取得モードが変わらない限り行読み出しは依然として存在します。
グローバルシャッターはモーションブレをなくすのでしょうか？
いいえ。動く映像は共通露光間隔中でもぼやけることがあります。
露出を短くしてゲインを上げるだけでしょうか？
トレードは可能ですが、ゲインが高い場合はノイズが増えます。照明、絞り、被写界深度、そして下流の精度をテストする必要があります。
ソフトウェアはローラーシャッターを完全に修正できますか？
必ずしもそうではありません。正確なタイミングと動きが必要であり、ぼかしや彩度、オクルージョンで失われた情報は復元できません。
画像幾何学と取得時間境界
カメラのタイミングや画質はロボットのジオメトリやレイテンシに影響を与えます。画像座標を運動に使用する前に、取得から決定までの完全な経路を検証してください。