物理人工智能安全是指系统在感知、模型、规划器、网络、执行器、人员和环境相互作用时，将风险控制在可接受且经过验证的边界内的能力。没有任何平均模型准确率或单个紧急停止功能能涵盖所有危险。
分层安全首先限制任务和操作领域，然后验证信息，限制运动和力量，必要时添加独立保护功能，并定义安全恢复。每个层应陈述其假设及假设失效时的处理情况。
本教育指南应与 力感指南 和 PoC测试框架一同阅读。它不能替代合格的风险评估或适用法律和标准。
风险评估在模型选择前就已开始
识别人员、任务、工具、有效载荷、能源来源、空间和生命周期阶段。考虑正常运行、可预见的误用、安装、清洁、维护、故障和恢复情况。模型无法安全评估，除非涉及其影响的系统危害。
通过更安全的设计降低风险，再依赖检测或指令。记录严重性、暴露和避免假设，然后分配控制和验证证据。当任务、软件或站点发生变化时，重新评估。
操作域是第一安全层
绑定允许的对象、工具、有效载荷、速度、力、工作空间、照明、表面、人员通道和环境。更窄的领域使行为和保护控制更容易验证。
检测系统何时离开边界，并定义安全响应。不要默默继续，因为模型仍在产出。扩展应要求新的证据和风险评估。
感知信心需要独立的合理性检验
传感器可能被遮挡、脏、饱和、校准错误或陈旧。交叉核对物体身份、几何形状、时间戳和机器人状态。信心评分应校准并与重新观察、减速、求助或停止等动作挂钩。
多样化的传感可以减少一些常见故障，但会增加聚变假设。测试存在分歧和缺失的数据。安全级检测功能需要合适的架构和超越一般AI感知输出的证据。
| 层 | 主要目的 | 失效示例 | 安全应对 |
|---|---|---|---|
| 操作域 | 防止未经检测的暴露 | 意外的人或物体 | 保持或停止 |
| 感知验证 | 拒绝不合理的状态 | 遮挡或陈旧帧 | 重新观察还是放慢 |
| 规划限制 | 阻止不安全意图 | 不可达或碰撞路径 | 拒绝计划 |
| 控制保护 | 限制物理输出 | 超速或力 | 夹紧还是停止 |
| 独立保护 | 尽管AI有错，仍要行动 | 控制器或网络故障 | 保护停止 |
规划应将模型输出视为提案
语言模型和基础模型可以提出目标、抓取方案或轨迹。确定性检查应在执行前验证坐标系、关节极限、可达性、碰撞、保护区、工具方向及允许技能。
使用有界技能库和明确的前提条件。无法验证的计划不应转化为行动。记录拒绝和上下文缺失，以改善上游系统。
低层控制限制物理后果
驱动和控制器执行位置、速度、加速度、电流、转矩、功率和温度限制。机械制动、制动和结构则增加了物理约束。限制应反映危险，而不仅仅是硬件存活。
测量机器人和工具的输出。传动摩擦和校准可能使电机电流成为不确定力的代理指标。测试饱和、积分器饱和、再生及代表性有效载荷下的传感器故障。
独立保护功能涵盖控制链故障
ISO 10218-1:2025 被 ISO 列为工业机器人的安全标准。适用的要求取决于机器人类型、应用、集成、管辖权及现行标准。
在风险需要时，安全级监控和停止应当非安全AI软件、网络或计算机失效时保持有效。独立性、诊断覆盖范围和安全状态时机需要有文档验证。
人机交互需要接触和行为证据
共享空间引入了接近、突袭、陷阱、工具和人体工学上的危险。速度与分离、动力与力限制、手动引导或防护操作是不同且有不同需求的概念。
测试整个机器人、末端执行器、有效载荷、夹具和环境。接触几何形状和机体部位都很重要。软壳或合规控制器本身无法确定可接受的协作操作。
| 测试组 | 证据 | 常见盲点 | 发布决定 |
|---|---|---|---|
| 名义任务 | 正确的有界行为 | 精选成功视频 | 跨分布重复 |
| 扰动 | 从变异中恢复 | 只会清理物品 | 定义覆盖范围 |
| 传感器故障 | 探测与响应 | 故障未注入 | 验证时间 |
| 控制故障 | 限制与停止 | 仅软件断言 | 测量物理产出 |
| 生命周期 | 设置、维护、重启 | 仅生产视图 | 验证程序 |
网络安全和更新可以改变安全假设
远程访问、模型下载、配置和空中更新会生成行为改变的路径。认证软件和命令，限制权限并记录变更。网络丢失和部分更新需要有限制响应。
回归测试应在部署前运行，采用分阶段部署与回滚。模型更新即使低级别限制保持不变，也可能改变任务选择或运动分布。重新评估受影响的危害。
恢复是一种设计状态，而不是重置按钮
在保护性停止或AI故障后，保持姿态、有效载荷、日志和理由。确定重力、储存能量或被困人员是否使自动重启变得不安全。分配人工权限和验证步骤。
使用清晰的操作模式、锁定程序和重启条件。反复的干扰性停止应触发工程审查，而非强制绕过保护。恢复指标应纳入可用性规划。
安全证据必须遵循整个生命周期
验证需求、设计、实施、调试、生产变更、维护和退役。使用与灾害和控制功能相关的可追溯测试。监测事故、近距离事故和场漂移。
独立审查在后果严重时尤为重要。最终的论证应显示各层阻止、检测或限制的内容，以及剩余风险——而不仅仅是列出组成部分。
评估“物理人工智能安全层：从操作限制到独立保护停止”时，还应保存模型版本、机器人配置、标定文件、测试日期和全部试验记录。把成功、失败、恢复与人工介入放在同一份数据中，才能区分模型能力、系统接口和现场流程造成的差异。
- 定义危害和有界操作域。
- 验证感应、几何和计划假设。
- 在AI规划下执行物理限制。
- 在风险需要时使用独立保护。
- 测试故障、恢复、更新和生命周期变更。
常见问题
高精度的机器人模型能被认为是安全的吗？
不。准确性是性能衡量标准之一。安全依赖于危害、操作极限、控制、保护功能、故障以及经过验证的残余风险。
紧急拦车是否提供所有必要的保护？
不。它只是一个功能。风险还可能需要预防、守卫、速度或力量限制、监控和受控恢复。
AI输出是否应该直接指挥机器人关节？
一般模型输出应经过验证的几何形状、规划、控制极限以及根据风险进行的独立保护层。
协作机器人在人身边总是安全的吗？
不。安全性取决于应用、工具、有效载荷、速度、力、接触几何形状、环境和集成——而不仅仅是机器人标签。
何时应重新评估安全？
当任务、工具、有效载荷、场地布局、模型、软件、限制或操作流程发生变化，以及相关故障或事件发生后，重新评估。
安全范围说明
本文为一般工程信息，不构成认证或法律建议。请使用合格的安全专业人员和经过验证的硬件，应用机器人的现行法规和标准、应用和管辖权。