物理 AI 紅隊測試計劃與安全控制

物理 AI 紅隊測試是在資產所有者明確授權的範圍內，驗證機器人如何應對誤導性指令、經批准的合成感測器故障、分佈變化、危險動作要求、通訊中斷和恢復失敗。它不應針對公共系統，也不提供可操作的攻擊步驟；測試必須從模擬開始，實機階段只能在有屏障、監督、急停和低能量限制的環境中進行。

執行時策略安全屏障約束動作，ROS 2 與 DDS 安全保護通訊，FMEA、HAZOP 與 STPA 負責危險分析。紅隊的作用是獨立驗證這些控制在意外條件下能否發現異常並安全恢復，而不是替代它們。

把授權範圍和中止條件作為第一道控制

NIST 紅隊測試術語表將其描述為為了發現缺陷或脆弱性而進行的授權測試。未在書面測試規則中明確資產、所有者、測試身份、時間、允許介面、資料處理、禁止行為和負責人，就不能開始。

出現意外運動、人員進入、防護裝置告警、定位或遙測丟失、通訊故障、溫度或功率越限時應立即中止。現場安全負責人應擁有獨立於技術團隊的中止權，屏障和急停路徑也要在執行前做功能檢查。

授權專案	必須寫明	不可接受狀態	批准人
目標	機器人、模型、網路、測試單元 ID	混入公共或第三方系統	資產所有者
行為	批准的合成故障與輸入類別	攻擊負載或未授權存取	安全負責人
物理	速度、力、區域、負載上限	無屏障的人員接近	現場安全負責人
中止	急停、遙測、異常觸發條件	沒有獨立中止權限	測試負責人

把感測器、模型、任務指令、策略、執行時防護、中介軟體、致動器、遠端操作員、紀錄記錄和更新路徑畫成資料流。在每個信任邊界上，關聯錯誤輸入可能導致的危險狀態，以及應阻止該狀態的控制。

紅隊測試不等同於滲透測試。後者可以側重技術存取路徑，而物理 AI 紅隊還要檢查語意模糊、觀測損壞、動作約束、人員互動與恢復。它也不替代常規安全驗證，而是以標準試驗和危險分析結果為輸入。

先用靜態記錄與歷史回放檢查發現和拒絕邏輯，再在模擬中透過獲批介面加入合成擾動與通訊中斷。隨後用硬體在環觀察真實控制器時序，只有透過前述階段的有限案例才能進入空置測試區的低速、低力實機試驗。

每次升級都需要上一階段的證據與新的危險評審。實機工作要配備訓練過的觀察員、屏障、無負載或安全模擬負載、獨立急停、清晰撤離路徑、受監督的遠端控制，以及異常停止後的鎖定流程。

NIST 的2025 年對抗性機器學習報告介紹整理了攻擊生命週期階段與緩解措施。機器人計劃應保持在防禦類別層面：模糊或衝突指令、經批准的測試工具的合成觀測損壞、分佈外環境、超過動作限制的要求、通訊丟失和不完整恢復。

每個測試用例記錄前置條件、防禦目標、批准的注入介面、預期的拒絕、減速、保持狀態或請求人工協助、禁止動作、中止條件和證據。不得給出可用於真實產品的對抗字串、繞過順序、憑據或針對生產機器人和公共服務的操作步驟。

只儲存模型最終輸出無法解釋防禦為什麼失敗。應在統一時鐘上關聯原始與正規化觀測的雜湊、時間戳、提示詞與策略版本、不確定性、安全防護機制的決策、防護前後的命令、控制器狀態、操作員介入、網路狀態和急停狀態。

個人資訊與安全敏感資料要最小化採集，限制存取並規定保留期限。結果不能只壓縮成一個透過或失敗標籤，應分別評價發現、遏制、進入安全狀態、恢復和證據完整性。

測試層	核心觀測值	透過行為示例	保留證據
指令	解釋、信心分數、拒絕原因	對模糊任務請求澄清	輸入雜湊與決策紀錄
感測器	時延、質量、交叉檢查	發現衝突後減速	合成故障 ID 與時間戳
動作	原始命令、防護後的命令、約束	阻止越界命令	策略與防護機製版本
恢復	心跳、狀態、操作員接管	在期限內進入安全狀態	事件時間線與批准記錄

按可復現性、對人員或資產的潛在影響、是否被發現、暴露範圍和恢復難度評定問題的嚴重度。不能因為隔離試驗沒有造成傷害就降低防護機制繞過的級別，也不能把模擬中一次漏檢誇大成現場災難必然發生。

根據原因修復輸入驗證、感測器交叉檢查、策略約束、超時、操作員接管、權限隔離、紀錄記錄或訓練資料。MITRE ATLAS可輔助基於威脅情報的分類與防禦討論，但不能替代現場危險分析和授權流程。

修復後要以相同條件重跑原測試用例，並執行相鄰正常行為的迴歸測試集。只有證據 ID、負責人、期限、修復版本、複測結果和剩餘風險批准全部關聯，問題才能關閉。

依據NIST AI Risk Management Framework的 Govern、Map、Measure、Manage，為模型、感測器、現場和供應商變更設定複測條件。嚴重事件、遠端存取變化和新增任務也應觸發複測，不能只依靠固定日曆。

不是。它是在書面授權和隔離條件下驗證防禦控制與恢復的活動，公共系統、第三方裝置和未批准的生產資產都不在範圍內。

不可以。應先透過回放、模擬和硬體在環，再在空置區域以屏障、監督、獨立急停、低速低力進行有限試驗。

不能。紅隊用於驗證意外與對抗條件下的防禦，還需要危險分析、基於標準的驗證、功能安全和網路安全測試。

最後查核：2026 年 8 月 7 日