ロボットポリシーの不確実性と判断保留は、ポリシーが自律的に継続すべきでない場合に何が起こるかを扱います。システムは定義されたリスクを推定し、キャリブレーション済みの閾値を早期に超えて行動し、セーフホールド、ヘルプリクエスト、テレオペレーション、またはリカバリーの状態に入ります。
softmaxスコア、アクション分散、モデルの不一致は自動的に失敗確率とは限りません。各信号は曖昧なデモンストレーション、慣れない観測、確率的未来、モデル誤差に異なる反応を示すため、キャリブレーションは運用が関心を持つ事象と時間の地平線に一致しなければなりません。
このガイドは、 フィジカルAI安全層ガイド および 人間介入データガイドと組み合わせてください。リスクと自律型補償を一緒に報告しましょう。
故障範囲と予測範囲を定義します
衝突、オブジェクトのドロップ、ワークスペースの終了、回復不能なポーズ、命令の不一致、オペレーターのテイクオーバーなどの観察可能なイベントから始めます。スコアが現在の状態、将来の行動、または失敗を予測するかどうかを定義します。
ラベルが異なるイベントやリードタイムを混ぜている場合、閾値はキャリブレーションできません。発症、結果、回復可能性、検閲は地平線より先に終わるエピソードを保存します。
不確実性の別々の要因
アレアトリック的曖昧さは、複数のもっともらしい行為や騒がしい観察を反映しています。認識論的不確実性はモデル知識の不足を反映しています。アウトオブ分布検出は入力が参照データと異なるかどうかを問い、故障予測は運用イベントを推定します。
あるスコアは複数のカテゴリーと相関しているが、それらを特定できない場合があります。意図された意味をラベル付けし、馴染みのあるハードステート、新規だが安全な背景、マルチモーダルのデモンストレーションなどの反例をテストしてください。
| 信号 | 可能な意味 | 強度 | 一次故障 |
|---|---|---|---|
| 最大確率 | モデル集中 | 安い | 過信 |
| エントロピー | 予測拡散 | 簡単です | マルチモーダリティの混乱 |
| アンサンブルの意見の相違 | モデルの不確実性 | 有用な比較 | 計算バイアスと共有バイアス |
| 距離またはOODスコア | 小説表現 | シフトを検出 | 小説は安全かもしれません |
| 故障予測器 | 将来のイベントと宣言されています | 作戦目標 | ラベル依存性と地平線依存 |
ソフトマックスと故障確率を同一視しないでください
分類の信頼度は、トレーニング目的、クラスバランス、温度によって形作られます。ポリシーは、利用可能なすべてのアクションが安全でないか外部のトレーニング支援であっても、代替案のログが低いため、高い確率をアクションに割り当てることができます。
発表された事象に対して信頼性を測定し、持ち上げられた展開のようなエピソードを用いてください。行動の信頼度、OODスコア、将来の失敗確率は異なるフォールバックを駆動する際には別々のフィールドとして保持してください。
独立した展開類似データに基づいてキャリブレーション
代表的なロボット、サイト、オペレーター、アクションポリシーの下で収集された検証データに対して閾値やキャリブレーションマッピングを適合させること。キャリブレーションはポリシー、カメラ、コントローラー、介入プロトコルが変わると途切れることがあります。
信頼性図、ビンの選択による予想キャリブレーション誤差、適切な場合はブライアまたはログロス、イベント発生率の報告。一つのグローバルな数字を信用するのではなく、高リスクのサブグループを再確認しましょう。
リスクと補償範囲の閾値を選ぶ
閾値を下げることで、より多くのケースをフォールバックに送ることで自律リスクを減らすことができますが、同時にカバレッジを減らし、人の負担を増やします。ほとんど何も試みないシステムは安全に見えても、自律的な価値はほとんどありません。
リスクとカバレッジをプロットし、信頼区間、故障の重症度、フォールバック能力を含めます。すべてのタスクと結果に対して1つのスコアではなく、リスク固有の閾値を選択してください。
十分な警告期間が必要です
接触後に正しいアラームが届いても、この出来事を防ぐことはできません。閾値の通過から故障までの時間または制御ステップを測定し、通信、オペレーター応答、ブレーキ、回復遅延を差し引います。
複数の地平線での検知を評価し、遅延アラームは誤りと別に報告します。終端状態でのみ発射することで呼び戻しを向上させる閾値は、予防には役立ちません。
実行可能なロボット状態への回避マッピング
判断保留は物理的に有効な行動を選択しなければなりません:位置保持、制御停止、撤退、物の設置、説明の要求、または権限の移譲。安全な選択は、ペイロード、接触、バランス、傾斜、そして近くの人によって異なります。
エントリー条件、確認応答、タイムアウト、制御所有権、フォールバック障害の挙動を指定します。検証された動き状態のないユーザーインターフェースメッセージは完全なアバーテンション機構ではありません。
人間の引き渡しと安全な再突入設計
ヘルプリクエストは、オペレーターが目標、観察、不確実性の理由、現在の制御権限を理解できる十分な文脈を提供しなければなりません。事前アラート履歴を保持し、人間と自律制御者が同時にコマンドを発せないようにします。
自律性がいつ再開できるかを定義します:人間のラベル、完了した遠隔操作セグメント、認識された状態への復帰、または明示的な承認の後。自律性とヒステリシスやステートマシンの支援を急激に行き来するのを防ぎましょう。
評価された環境内で研究証拠を活用する
KnowNoプロジェクトは、報告されたタスクにおける言語モデルの不確実性とロボットのヘルプを求める傾向を研究しています。関連する論文は実験範囲を示し、他の選択的予測研究は異なるモデル、ラベル、環境を検証しています。
報告された改善は、そのセットアップの証拠として扱い、普遍的な閾値としては考えないでください。ターゲットポリシー、ロボット、ヘルプコスト、故障定義でキャリブレーションを再構築します。
マイニングはハードネガとシフト故障です
不確実性データセットには、安全で異常な状態をハードネガティブとして、見慣れた失敗をポジティブとして必要とします。そうでなければ、検出器は悪い結果の前兆ではなく、背景の新規性やオペレーターの識別を学習します。
誤報やミスを ロボット故障マイニングガイドに接続してください。ポリシー更新後に再調整してください。訪問した状態や故障境界が変わる可能性があるからです。
補助アウトカムと自律アウトカムを別々に評価する
承認されたカバレッジでの故障、選択リスク、誤報作業量、ミス率、警告リードタイム、ヘルプレイテンシ、ハンドオフ成功、フォールバック成功、再エントリー結果、そしてタスク完了の総量を測定します。補助修了は自律的な成功ではありません。
SUSIE研究と不確実性認識型模倣学習研究をスコープ付き研究参考として用い、独立した試験で全体の運用ループを検証します。
| アウトカム層 | 測定 | 警告 | 解釈 |
|---|---|---|---|
| キャリブレーション | 予測リスクと観察リスクの違い | 過信 | 改装か拒否か |
| カバレッジ | 自律分数 | ほぼゼロです | 低効用 |
| タイミング | 警告リードタイム | アラームは遅すぎた | 防げない |
| ハンドオフ | 解決されたリクエスト | オペレーター過負荷 | フォーバック不十分 |
| 任務 | 自律的および支援的成功 | 統合された指標 | 主張の誇張 |
調整された判断保留契約を発行する
バージョンポリシー、不確実性モデル、キャリブレーションセット、イベント定義、地平線、閾値、フォールバックステートマシン、オペレーターインターフェース、再突入ロジック。すべてのアラートにはスコア成分、状態、年齢、アクション、人間の対応、最終結果を保存してください。
以下のチェックを伴ったクローズリリースレビュー。
- 予測される失敗と期間を定義してください。
- 独立した展開のようなデータに基づいてキャリブレーションします。
- リスクと自律型補償を一緒に報告しましょう。
- フォールバック、ハンドオフ、再突入の状態を確認しましょう。
- 方針や運営分配が変わるたびに再調整しましょう。
よくある質問
ポリシーの自信は成功の確率なのでしょうか？
自動的には。それは明確な運用結果と視野に合わせて調整されなければなりません。
不確実性が高いときにロボットは停止すべきでしょうか？
いいえ。ホールド、ヘルプ、テレオペラ操作、制御停止など、リスク特化した物理的に安全なバックアップが必要です。
リスクカバレッジカーブとは何ですか？
これは、システムが徐々に多くのケースを判断保留する中で、受理された自律的なケースにおける観察リスクを示しています。
支援成功はどのように報告されるのですか？
自動成功とは別に報告し、遅延、オペレーターの作業負荷、バックアップ結果を含めて報告してください。
閾値はいつ再調整すべきか？
ポリシー、センサー、ロボット、コントローラー、タスクミックス、介入プロトコルの変更後、そしてドリフトが検出された際に。
キャリブレーションリスクとハンドオフ境界
判断保留は、信頼ラベルではなく、調整されたコントロール移転ポリシーです。その価値はリスク、補償範囲、リードタイム、フォールバックの成功率、そして安全な自律性への回復に依存します。