ロボットポリシーランタイム安全シールド

ロボットポリシーランタイムセーフティシールドは、提案された命令を明示的な状態および動作制約と照らし合わせてからアクチュエーターが受信します。シールドはアクションを許可したり、近くの許容コマンドに置き換えたり、期限前に安全な修正が利用できない場合にテスト済みのフォールバックに入ることができます。

シールドはポリシーの不確実性とは異なる問題を解決します。不確定性モジュールはモデルが知らないかもしれないことを推定し、シールドは状態推定と動力学仮定の下で操作的制約を強制します。自信だけで安全なセットを定義するわけではありません。

このガイドは ポリシー回避ガイド および フィジカルAI安全層ガイドと併用してください。ソフトウェアシールドは、独立した保護機能やシステムレベルのリスク評価を置き換えるのではなく、補完するものです。

実行可能な制約セットを定義します

危険を実行時に利用可能な量に変換します:ジョイントおよびアクチュエーターの制限、速度と力の制限、最小距離、作業区の境界、安定性マージン、ペイロードの状態、禁止接触および人間ゾーンのルール。各制約には、単位、座標フレーム、更新周期、保守的な許容差が必要です。

ハザードリストは、コントローラが観測状態から評価できるまで実行できません。利用不能または古い信号に依存する制約をマークし、それらの条件をフォールバックにルーティングします。

コマンドパスにシールドを置く

実際のパスはポリシー出力、ユニットおよびフレーム検証、状態の新鮮性チェック、制約評価、許可または修正されたコマンド、アクチュエーターインターフェース、介入ログであるべきです。バイパス、不正形式の入力、プロセス障害が、未チェックのコマンドを送れないことをテストしてください。

人や高影響の機械に対しては、学習された方針やシールドプロセスが停滞した際に対応できる独立した停止や保護経路を保持してください。

シールド法	決定の根拠	強度	プライマリー・リミット
ハードルール	現在の状態値としきい値	明快で高速	境界付近でチャタリングし得る
制約投影	最も近い許容可能なアクション	修正量が小さい	将来のリスクを見落とす可能性
制御バリア関数	安全集合の条件	連続的な制約	モデルと実行可能性に依存
予測フィルター	将来軌道	停止経路を考慮	計算負荷とモデル誤差
フォールバック状態機械	回復シーケンス	運用上の明確さ	状態ごとの設計が必要

状態情報の経過時間と不確実性を検証する

数学的に安全なアクションでも、状態推定値が古い、誤登録、または過信している場合、現在のロボットにとって安全でない可能性があります。タイムスタンプ、共分散、保守的な誤差範囲、センサーの健康状態フラグを制約計算に組み込みます。

不確実性や遅延が増えるほど、必要な安全距離を大きくし、許容する速度・力の上限を下げるなど、安全余裕を広げてください。状態の鮮度が限界を超えたら、最後に得た状態を現在状態とみなさず、停止または性能を制限したモードへ移行します。

境界線が明確なところで厳格なルールを使う

ハードバウンドは、関節、電圧、速度、作業空間など、直接確認できる絶対的な制限に適しています。境界付近にヒステリシスやレート制限を加え、受理と拒否が高速に振動するのを防ぎます。

等号を含む境界条件、数値許容差、欠損値、同時違反をテストします。拒否後の動作は物理的に適切でなければなりません。すべての無効なコマンドをゼロに置き換えると、ペイロードを落としたり、脚式ロボットを不安定にしたりする可能性があります。

正当化された集合内のみのアクションをプロジェクト

制約投影は、ポリシー提案の近くにある許容可能なコマンドを探索します。距離計量はタスク関連単位で定義し、優先順位を保持してください。なぜなら、小さなベクトル空間の変化が大きなエンドエフェクターや接触の変化になる可能性があるからです。

元のコマンド、アクティブな制約、修正されたコマンドおよびソルバーの状態を記録します。実現可能な修正が見つからない場合は、最後の反復を出すのではなく、テスト済みのフォールバックに移行してください。

モデルの限界を踏まえて制御バリア関数を適用する

制御バリア関数は安全集合を表し、制御入力を制約して、定められた動力学仮定の下でシステムがその中にとどまるようにします。二次計画問題では、バリア条件を満たしながらポリシーコマンドに近い動作を選べます。

シールドを用いた安全な強化学習の論文と制御バリア関数と二次計画法による安全制御の論文は、評価された環境における研究アプローチを説明しています。実際のロボットは依然として実現可能性、離散化、アクチュエータ飽和、モデル誤差、ソルバー時間検証を必要とします。

停止距離には予測フィルターを使う

現在状態だけを確認すると、安全な将来の制動軌道を残さない動作を承認することがあります。予測フィルターは予測ホライズン内の候補動作をシミュレートし、制約を維持できるか、終端安全集合に到達できるかを検証します。

予測安全フィルターペーパーはモデルベースの定式化を提示しています。予測ホライズンとモデルの保守性は、速度、遅延、制動の物理に基づいて決めます。そのうえで、モデルの不一致に対するロバスト性をテストします。

設計のバックアップを回復可能なシーケンスとして

フォールバックは一つの汎用停止コマンドではありません。接触、積載量、バランス、地形によっては、制御された制動、保持、格納、物体の配置、安全な姿勢、電力の遮断、または人間による制御引き継ぎが必要になる場合があります。

各状態ごとにエントリー、完了、タイムアウト、エスカレーションを指定します。繰り返し違反しても無限ループの再試行ループは生じてはいけません。明確な回復決定を必要とする安定した状態に移行すること。

保護はポリシー学習から独立して保つ

シールド介入は有用な訓練の例となり得ますが、学習が静かに保護の境界を弱めてはいけません。制約ロジックは別系統でバージョン管理し、しきい値や動力学モデルの変更にも、同じ独立した安全レビューを必要とします。

常に修正に依存する方針は、その課題に合わないことがあります。介入コンテキストを訓練するのは、なぜ元の行動がブロックされたのか、そしてその後の結果がどうなったかを保持した後に。

最悪ケースの実行時間とタイムアウトの挙動を測定する

コントロールループは、良い平均レイテンシだけでなく、締め切りまでに確実な応答が必要です。CPU、メモリ、ネットワーク負荷下でセンサー取得、状態推定、衝突クエリ、ソルバー、コマンド送信、スケジューリングを高パーセンタイルで測定します。

タイムアウト、実行不可能、数値誤差、古い入力に対するフェイルセーフ動作を定義します。これらの経路を故障注入で実行し、独立停止がまだ有効であることを確認しましょう。

成功を誇張せずに介入を評価する

制約違反、最小マージン、介入率、修正の大きさ、誤介入、見逃した危険、フォールバック完了、タスク成功率、サイクルタイムを報告します。安全でない行動が防げることは、作業の完了ではなく保護証拠です。

高い介入は、優れたハザード捕捉、過度に保守的な規則、不適切な状態の見積もり、あるいは悪いポリシーを意味することがあります。 ロボット VLA 評価ガイド を使って、自律型ポリシーの品質、シールド貢献、支援成果を区別しましょう。

検証層	測定	フォールト注入	証拠を通す
制約	最小マージン	境界誤差とモデル誤差	違反はありません
タイミング	最悪ケースレイテンシ	負荷とネットワーク遅延	期限内に完了、またはフォールバック
ソルバー	現状と実現可能性	タイムアウトとNaN	安全なエスカレーション
介入	介入率と修正量	境界付近のコマンド	予想される反応
回復	フォールバック完了	ペイロードおよび接触ケース	安定エンド状態

シールドポリシー互換性契約をリリースする

制約バージョン、フレーム、単位、状態有効度制限、ダイナミクスの仮定、ソルバー設定、締め切り、フォールバックマシン、独立停止インターフェース、ポリシーおよびロボット識別子、キャリブレーションおよび監査スキーマをパッケージ化します。モーションを有効にする前に、その正確なバンドルを再生してください。

以下のチェックを伴ったクローズリリースレビュー。

• ハザードを実行時にチェック可能な制約に変換します。
• 古くなっているか不確かな状態は保守的に拒否しましょう。
• 修正、実行不能、タイムアウト時の経路をテストします。
• 復元可能なフォールバックと独立した停止を確認しましょう。
• 介入はタスク成功とは別に報告してください。

よくある質問

安全シールドは学習した方針を安全にするのでしょうか？

いいえ。これは、前提の下で特定の動作を制約します。未知の危険をカバーしたり、システム全体の認証を行ったりするものではありません。

ポリシーの不確実性は安全シールドと同じものなのでしょうか？

いいえ。不確実性はモデルの疑念を推定し、シールドは明示的な運用制約を強制します。

拒否されたすべてのコマンドはゼロ速度にすべきでしょうか？

いいえ。安全なフォールバックは、ペイロード、接触、バランス、地形、アクチュエータの挙動に依存します。

シールドはどこに設置すべきでしょうか？

検証されたコマンド経路内で、アクチュエーターに十分近く、期限内に制約を適用できる位置に置きます。必要に応じて独立した保護経路を設けます。

高い介入率はシールドがうまく機能することを証明するのでしょうか？

介入率だけでは判断できません。保守的なルール、古い状態推定、誤検知、制約に合わないポリシーを反映している可能性があります。

実行可能制約とフォールバック境界

ランタイムシールドは実行可能な制約およびフォールバックレイヤーです。その主張は、センシング、動力学仮定、タイミング、制約カバレッジ、独立した保護設計によって制限されます。