機器人策略的不確定性與拒答機制

機器人策略不確定性和棄權處理了當策略不應自主繼續時會發生什麼。系統會估算一個定義的風險，提前跨越校正閾值以便採取行動，並進入安全等待、求助請求、遙操作或恢復狀態。

softmax 分數、動作方差或模型不一致並不自動代表失敗機率。每個訊號對模糊的展示、陌生的觀測、隨機未來和模型誤差的反應不同，因此校正必須與操作關注的事件和時間視野相匹配。

本指南應與 物理 AI 安全層指南 及 人工介入資料指南搭配使用。將風險報告與自主覆蓋合併。

定義失效和預測視野

從可觀測事件開始，如碰撞、丟棄物件、工作區退出、不可恢復姿勢、指令不匹配或操作員接管。定義評分是否預測目前狀態、未來視野內的下一步動作或失敗。

當標籤混合不同事件和提前時間時，閾值無法校正。對於在地平線前結束的回合，應保留起始、後果、可恢復性和審查。

不確定性的獨立來源

偶然性模糊性反映了多個合理的行為或雜訊觀察。認識不確定性反映了模型知識不足。分佈外檢測詢問輸入是否與參考資料不同，而故障預測則估計操作事件。

一個分數可能與多個類別相關，但未明確辨識。標註預期含義並測試反例，如熟悉的硬狀態、新穎但安全的背景和多模態展示。

訊號	可能含義	實力	主失效
最大機率	模型集中度	便宜	過度自信
熵	預測性擴散	很簡單	多模態混淆
合奏分歧	模型不確定性	有用的比較	計算與共享偏置
距離或值班分數	小說的表現	檢測換位	小說可以是安全的
故障預測器	宣佈的未來賽事	作戰目標	標籤與視界依賴

不要把軟最大值等同於故障機率

分類信心分數由訓練目標、類別平衡和溫度塑造。策略可以為某項行動分配高機率，因為即使所有可用行動都不安全或外部訓練支援，替代方案的 logit 也較低。

利用類似部署但未參與校正的留出回合來衡量其可靠性。當行動信心、OOD 分數和未來失敗機率分別作為驅動不同備援行為時，保持獨立欄位。

基於獨立部署類資料進行校正

對代表性機器人、站點、操作員和操作策略下收集的驗證資料擬合閾值或校正對映。當策略、攝影機、控制器或介入協議發生變化時，校正可能會中斷。

報告可靠性圖、註明分箱方案的預期校正誤差，並在適用時報告 Brier 分數或對數損失及事件發生率。重新檢查高風險子組，而不是隻相信一個全域數字。

從風險和保障範圍中選擇門檻

較低的閾值可以透過將更多案件送入後備方案來降低自主風險，但同時也會減少覆蓋率並增加人力負擔。一個幾乎不採取任何嘗試的系統，表面上看似安全，實際上幾乎沒有自主價值。

繪製風險與覆蓋範圍，幷包括置信區間、失敗嚴重度和備用能力。選擇針對風險的閾值，而非每個任務和結果的單一評分。

需要足夠的預警時間

接觸後出現的正確報警無法阻止該事件。測量閾值跨越與故障之間的時間或控制步數，然後減去通訊、操作員反應、制動和恢復延遲。

評估多視野的探測能力，並將晚報警與未中報警分開報告。僅在終端狀態觸發以提升召回率的閾值對預防無用。

將棄權決策對應到可執行的機器人狀態

棄權必須選擇物理有效的行動：保持位置、受控停止、撤退、放置物體、請求澄清或轉移權限。安全選擇取決於有效負載、接觸點、平衡、坡度及附近人員情況。

指定進入條件、確認、超時、控制所有權和備份失敗行為。沒有經過驗證的運動狀態的使用者介面訊息並非完全的保留機制。

設計人工交接與安全重新進入自主狀態

幫助請求必須為操作員提供足夠的背景，以理解目標、觀察、不確定性原因及目前控制權限。保留預警報歷史，確保指令不能由人類和自主控制者同時發出。

定義自主性恢復的時間：在人類標籤、完成遙操作段後，恢復到認可狀態或明確批准。防止自主性與輔助滯後或狀態機之間的快速搖擺。

在其評估環境中使用研究證據

KnowNo 專案研究其報告任務中的語言模型不確定性和機器人尋求幫助的現象。相關論文提供了其實驗範圍，而其他選擇性預測工作則測試不同的模型、標籤和環境。

將報告的改進視為這些設定的證據，而非普遍的閾值。用目標策略、機器人、幫助成本和故障定義重建校正。

挖掘困難負例與分布偏移故障

不確定性資料集需要安全的異常狀態作為硬負面，熟悉的故障作為正值。否則，探測器會學習背景新穎性或操作員身份，而非不良結果的前兆。

將誤報和漏報連線到機器人 故障挖掘指南。策略更新後重新校正，因為存取的狀態和故障邊界可能會變化。

分別評估輔助和自主結果

測量在接受覆蓋範圍內的失敗、選擇性風險、誤報工作量、漏接率、警告提前時間、幫助延遲、交接成功、迴歸成功、重返結果以及總任務完成度。輔助完成並非自主成功。

以 SUSIE 研究 和 不確定性意識的模仿學習作為 研究範圍的參考，然後在獨立試驗中驗證完整的操作迴圈。

結果層	度量	警告	解釋
校正	預測風險與觀察風險	過度自信	改裝還是淘汰
覆蓋範圍	自治分數	幾乎為零	低效用
時間安排	警告提前時間	警報來晚了	無法阻止
交接	已解決的請求	操作員過載	後備不足
任務	自主與輔助成功	合併的指標	說法誇大了

釋出一份經過校正的棄權合約

版本策略、不確定性模型、校正集、事件定義、視界、閾值、備回狀態機、操作員介面和重返邏輯。儲存每個警報，包含評分成分、狀態年齡、動作、人工反應和最終結果。

關閉釋出審查，需進行以下檢查。

評估“機器人策略的不確定性與棄權”時，還應儲存模型版本、機器人設定、校正檔案、測試日期和全部試驗記錄。

• 定義預測失效和預測範圍。
• 基於獨立部署類資料進行校正。
• 一併報告風險與自主執行涵蓋率。
• 驗證備用、交接和重返狀態。
• 每當策略或營運分配發生變化時，請重新校正。

常見問題

策略信心是成功的機率嗎？

不是自動的。它必須根據明確的營運結果和視野進行校正。

機器人是否應該在不確定性高時停止？

不需要。它需要一個針對風險、物理安全的備用方式，比如保持、幫助、遙操作或受控停止。

什麼是風險-覆蓋曲線？

它顯示了在被接受的自主案例中觀察到的風險，因為系統會對越來越多的案例棄權。

輔助成功如何報告？

應將其與自動成功分開報告，包括延遲、操作員工作量和備用結果。

閾值應何時重新校正？

在策略、感測器、機器人、控制器、任務組合或介入協議變更以及檢測到漂移時，

校正風險與交接邊界

棄權是一種經過校正的控制權轉移策略，而非信心標籤。其價值取決於風險、覆蓋範圍、預警提前量、後備方案成功率以及安全恢復自主。