物理 AI 安全是指系統在感知、模型、規劃器、網路、致動器、人員和環境相互作用時，將風險控制在可接受且經過驗證的邊界內的能力。沒有任何平均模型準確率或單個緊急停止功能能涵蓋所有危險。
分層安全首先限制任務和操作領域，然後驗證資訊，限制運動和力量，必要時新增獨立保護功能，並定義安全恢復。每個層應陳述其假設及假設失效時的處理情況。
本教育指南應與 力感指南 和 PoC 測試框架一同閱讀。它不能替代合格的風險評估或適用法律和標準。
風險評估在模型選擇前就已開始
辨識人員、任務、工具、有效負載、能源來源、空間和生命週期階段。考慮正常執行、可預見的誤用、安裝、清潔、維護、故障和恢復情況。模型無法安全評估，除非涉及其影響的系統危害。
透過更安全的設計降低風險，再依賴檢測或指令。記錄嚴重性、暴露和避免假設，然後分配控制和驗證證據。當任務、軟體或站點發生變化時，重新評估。
操作域是第一安全層
繫結允許的物件、工具、有效負載、速度、力、工作空間、照明、表面、人員通道和環境。更窄的領域使行為和保護控制更容易驗證。
檢測系統何時離開邊界，並定義安全反應。不要默默繼續，因為模型仍在產出。擴充應要求新的證據和風險評估。
感知信心需要獨立的合理性檢驗
感測器可能被遮擋、髒、飽和、校正錯誤或陳舊。交叉核對物體身份、幾何形狀、時間戳和機器人狀態。信心評分應校正並與重新觀察、減速、求助或停止等動作掛鉤。
多樣化的感測可以減少一些常見故障，但會增加聚變假設。測試存在分歧和缺失的資料。安全級檢測功能需要合適的架構和超越一般 AI 感知輸出的證據。
| 層 | 主要目的 | 失效示例 | 安全應對 |
|---|---|---|---|
| 操作域 | 防止未經檢測的暴露 | 意外的人或物體 | 保持或停止 |
| 感知驗證 | 拒絕不合理的狀態 | 遮擋或陳舊影格 | 重新觀察還是放慢 |
| 規劃限制 | 阻止不安全意圖 | 不可達或碰撞路徑 | 拒絕計劃 |
| 控制保護 | 限制物理輸出 | 超速或力 | 夾緊還是停止 |
| 獨立保護 | 儘管 AI 有錯，仍要行動 | 控制器或網路故障 | 保護停止 |
規劃應將模型輸出視為提案
語言模型和基礎模型可以提出目標、掌握或軌跡。確定性檢查應在執行前驗證框架、關節極限、可達性、碰撞、保護區、工具方向及允許技能。
使用有界技能庫和明確的前提條件。無法驗證的計劃不應轉化為行動。記錄拒絕和上下文缺失，以改善上游系統。
低層控制限制物理後果
驅動和控制器執行位置、速度、加速度、電流、轉矩、功率和溫度限制。機械制動、制動和結構則增加了物理約束。限制應反映危險，而不僅僅是硬體存活。
測量機器人和工具的輸出。傳動摩擦和校正可能使馬達電流成為不確定力的代理指標。測試飽和、積分器飽和、再生及代表性有效負載下的感測器故障。
獨立保護功能涵蓋控制鏈故障
ISO 10218-1:2025 被 ISO 列為工業機器人的安全標準。適用的要求取決於機器人類型、應用、整合、管轄權及現行標準。
在風險需要時，安全級監控和停止應當非安全 AI 軟體、網路或計算機失效時保持有效。獨立性、診斷覆蓋範圍和安全狀態時機需要有檔案驗證。
人機互動需要接觸和行為證據
共享空間引入了接近、突襲、陷阱、工具和人體工學上的危險。速度與分離、動力與力限制、手動引導或防護操作是不同且有不同需求的概念。
測試整個機器人、末端效應器、有效負載、夾具和環境。接觸幾何形狀和機體部位都很重要。軟殼或合規控制器本身無法確定可接受的協作操作。
| 測試組 | 證據 | 常見盲點 | 釋出決定 |
|---|---|---|---|
| 名義任務 | 正確的有界行為 | 精選成功影片 | 跨分佈重複 |
| 擾動 | 從變異中恢復 | 只會清理物品 | 定義覆蓋範圍 |
| 感測器故障 | 探測與反應 | 故障未注入 | 驗證時間 |
| 控制故障 | 限制與停止 | 僅軟體斷言 | 測量物理產出 |
| 生命週期 | 設定、維護、重啟 | 僅生產檢視 | 驗證流程 |
網路安全和更新可以改變安全假設
遠端存取、模型下載、設定和空中更新會生成行為改變的路徑。認證軟體和命令，限制權限並記錄變更。網路丟失和部分更新需要有限制反應。
迴歸測試應在部署前執行，採用分階段部署與回復。模型更新即使低階別限制保持不變，也可能改變任務選擇或運動分佈。重新評估受影響的危害。
恢復是一種設計狀態，而不是重置按鈕
在保護性停止或 AI 故障後，保持姿態、有效負載、紀錄和理由。確定重力、儲存能量或被困人員是否使自動重啟變得不安全。分配人工權限和驗證步驟。
使用清晰的操作模式、鎖定流程和重啟條件。反覆的干擾性停止應觸發工程審查，而非強制繞過保護。恢復指標應納入可用性規劃。
安全證據必須遵循整個生命週期
驗證需求、設計、實施、除錯、生產變更、維護和退役。使用與災害和控制功能相關的可追溯測試。監測事故、近距離事故和場漂移。
獨立審查在後果嚴重時尤為重要。最終的論證應顯示各層阻止、檢測或限制的內容，以及剩餘風險——而不僅僅是列出組成部分。
評估“物理 AI 安全層：從操作限制到獨立保護停止”時，還應儲存模型版本、機器人設定、校正檔案、測試日期和全部試驗記錄。
只有把這些持續投入與單位成功任務的價值比較，才能判斷方案是否適合擴大。
上線後仍要持續檢查分佈變化、感測器漂移、機械磨損和人工接管原因。
實際專案還應指定資料、模型、控制器和安全流程的負責人，並預先定義回復條件。責任邊界、審批記錄與變更紀錄越清楚，故障發生後越容易停止擴散、定位原因並安全恢復。
把任務拆成感知、決策、動作執行和結果確認，可以更準確地定位瓶頸。每一階段都應有獨立指標與失敗示例，避免用端對端成功率掩蓋偶發但嚴重的風險。
引用的產品規格、論文結果和監管要求需要記錄釋出日期與適用版本。資料更新後應重新核對關鍵結論；無法從一手來源確認的內容，應明確標註為待驗證資訊。
小規模試點的價值在於提前暴露介面、人員協作和異常處理問題。試點結束後應依據預設門檻決定擴大、修改或停止，而不是因為已經投入資源就預設繼續。
所有結論都應能夠追溯到原始記錄，並可複核。
介面定義變化時，舊資料和舊控制參數不能在未經驗證的情況下直接複用。
異常測試應覆蓋斷電、通訊丟失、感測器失真、物件滑移和人員進入工作區等情形。系統不僅要發現異常，還應以可預測的方式減速、停止或請求人工確認。
維護計劃需要把檢查週期、易損件、備件、校正和軟體更新納入同一套記錄。若維護成本或停機時間持續上升，應重新評估系統設計，而不是隻提高操作人員負擔。
- 定義危害和有界操作域。
- 驗證感應、幾何和計劃假設。
- 在 AI 規劃下執行物理限制。
- 在風險需要時使用獨立保護。
- 測試故障、恢復、更新和生命週期變更。
常見問題
高精度的機器人模型能被認為是安全的嗎？
不。準確性是效能衡量標準之一。安全依賴於危害、操作極限、控制、保護功能、故障以及經過驗證的殘餘風險。
緊急攔車是否提供所有必要的保護？
不。它只是一個功能。風險還可能需要預防、守衛、速度或力量限制、監控和受控恢復。
AI 輸出是否應該直接指揮機器人關節？
一般模型輸出應經過驗證的幾何形狀、規劃、控制極限以及根據風險進行的獨立保護層。
協作機器人在人身邊總是安全的嗎？
不。安全性取決於應用、工具、有效負載、速度、力、接觸幾何形狀、環境和整合——而不僅僅是機器人標籤。
何時應重新評估安全？
當任務、工具、有效負載、場地佈局、模型、軟體、限制或操作流程發生變化，以及相關故障或事件發生後，重新評估。
安全範圍說明
本文為一般工程資訊，不構成認證或法律建議。請使用合格的安全專業人員和經過驗證的硬體，應用機器人的現行法規和標準、應用和管轄權。