物理 AI 红队测试是在资产所有者明确授权的范围内，验证机器人如何应对误导性指令、经批准的合成传感器故障、分布变化、危险动作要求、通信中断和恢复失败。它不应针对公共系统，也不提供可操作的攻击步骤；测试必须从仿真开始，实机阶段只能在有屏障、监督、急停和低能量限制的环境中进行。
运行时策略安全屏障约束动作，ROS 2 与 DDS 安全保护通信，FMEA、HAZOP 与 STPA负责危险分析。红队的作用是独立验证这些控制在意外条件下能否发现异常并安全恢复，而不是替代它们。
把授权范围和中止条件作为第一道控制
NIST 红队测试术语表将其描述为为了发现缺陷或脆弱性而进行的授权测试。未在书面测试规则中明确资产、所有者、测试身份、时间、允许接口、数据处理、禁止行为和负责人，就不能开始。
出现意外运动、人员进入、防护装置告警、定位或遥测丢失、通信故障、温度或功率越限时应立即中止。现场安全负责人应拥有独立于技术团队的中止权，屏障和急停路径也要在运行前做功能检查。
| 授权项目 | 必须写明 | 不可接受状态 | 批准人 |
|---|---|---|---|
| 目标 | 机器人、模型、网络、测试单元 ID | 混入公共或第三方系统 | 资产所有者 |
| 行为 | 批准的合成故障与输入类别 | 攻击载荷或未授权访问 | 安全负责人 |
| 物理 | 速度、力、区域、载荷上限 | 无屏障的人员接近 | 现场安全负责人 |
| 中止 | 急停、遥测、异常触发条件 | 没有独立中止权限 | 测试负责人 |
从资产与危险地图确定测试层级
把传感器、模型、任务指令、策略、运行时防护、中间件、执行器、远程操作员、日志记录和更新路径画成数据流。在每个信任边界上，关联错误输入可能导致的危险状态，以及应阻止该状态的控制。
红队测试不等同于渗透测试。后者可以侧重技术访问路径，而物理 AI 红队还要检查语义模糊、观测损坏、动作约束、人员交互与恢复。它也不替代常规安全验证，而是以标准试验和危险分析结果为输入。
从离线证据逐级推进到低能量实机
先用静态记录与历史回放检查发现和拒绝逻辑，再在仿真中通过获批接口加入合成扰动与通信中断。随后用硬件在环观察真实控制器时序，只有通过前述阶段的有限案例才能进入空置测试区的低速、低力实机试验。
每次升级都需要上一阶段的证据与新的危险评审。实机工作要配备训练过的观察员、屏障、无载荷或安全模拟载荷、独立急停、清晰撤离路径、受监督的远程控制，以及异常停止后的锁定程序。
只按防御目标和预期响应描述场景
NIST 的2025 年对抗性机器学习报告介绍整理了攻击生命周期阶段与缓解措施。机器人计划应保持在防御类别层面：模糊或冲突指令、经批准的测试工具的合成观测损坏、分布外环境、超过动作限制的要求、通信丢失和不完整恢复。
每个测试用例记录前置条件、防御目标、批准的注入接口、预期的拒绝、减速、保持状态或请求人工协助、禁止动作、中止条件和证据。不得给出可用于真实产品的对抗字符串、绕过顺序、凭据或针对生产机器人和公共服务的操作步骤。
设计可观测信号并保留可复现证据
只保存模型最终输出无法解释防御为什么失败。应在统一时钟上关联原始与归一化观测的哈希、时间戳、提示词与策略版本、不确定性、安全防护机制的决策、防护前后的命令、控制器状态、操作员干预、网络状态和急停状态。
个人信息与安全敏感数据要最小化采集，限制访问并规定保留期限。结果不能只压缩成一个通过或失败标签，应分别评价发现、遏制、进入安全状态、恢复和证据完整性。
| 测试层 | 核心观测值 | 通过行为示例 | 保留证据 |
|---|---|---|---|
| 指令 | 解释、置信度、拒绝原因 | 对模糊任务请求澄清 | 输入哈希与决策日志 |
| 传感器 | 时延、质量、交叉检查 | 发现冲突后减速 | 合成故障 ID 与时间戳 |
| 动作 | 原始命令、防护后的命令、约束 | 阻止越界命令 | 策略与防护机制版本 |
| 恢复 | 心跳、状态、操作员接管 | 在期限内进入安全状态 | 事件时间线与批准记录 |
结合物理后果与控制失效评定严重度
按可复现性、对人员或资产的潜在影响、是否被发现、暴露范围和恢复难度评定问题的严重度。不能因为隔离试验没有造成伤害就降低防护机制绕过的级别，也不能把仿真中一次漏检夸大成现场灾难必然发生。
根据原因修复输入验证、传感器交叉检查、策略约束、超时、操作员接管、权限隔离、日志记录或训练数据。MITRE ATLAS可辅助基于威胁情报的分类与防御讨论，但不能替代现场危险分析和授权流程。
修复复测与治理闭环决定何时关闭问题
修复后要以相同条件重跑原测试用例，并执行相邻正常行为的回归测试集。只有证据 ID、负责人、期限、修复版本、复测结果和剩余风险批准全部关联，问题才能关闭。
依据NIST AI Risk Management Framework的 Govern、Map、Measure、Manage，为模型、传感器、现场和供应商变更设置复测条件。严重事件、远程访问变化和新增任务也应触发复测，不能只依靠固定日历。
常见问题
物理 AI 红队测试就是攻击真实机器人吗？
不是。它是在书面授权和隔离条件下验证防御控制与恢复的活动，公共系统、第三方设备和未批准的生产资产都不在范围内。
第一次红队测试可以直接用实机吗？
不可以。应先通过回放、仿真和硬件在环，再在空置区域以屏障、监督、独立急停、低速低力进行有限试验。
通过红队测试能替代机器人安全认证吗？
不能。红队用于验证意外与对抗条件下的防御，还需要危险分析、基于标准的验证、功能安全和网络安全测试。
已核验的官方资料
- NIST Adversarial Machine Learning report announcement
- NIST red teaming glossary
- NIST AI Risk Management Framework
- MITRE ATLAS
最后核查：2026年8月7日