一个物理人工智能概念验证应当回答决策，而不仅仅是生成一个机器人视频。它测试定义的工作流程是否能在已知条件下以可接受的安全性、干预、集成和成本提供可衡量的价值。
一个好的概念验证比部署更狭窄，但比演示更严谨。它说明了基线、任务边界、成功分母、变异、失败分类法以及通过或停止阈值，然后才开始试验。这防止了选择性实例取代证据。
请使用本指南配合 机器人视频评估清单 和 物理人工智能生态系统地图。仍需进行场地特定风险、隐私和安全审查。
从PoC必须支持的决定开始
说明下一步决定是停止、重新设计、扩大测试还是有限度部署资金。说明决策所有者、日期、预算及所需证据。没有决定的联系人可以无限期继续。
写一个假设，将能力与工作流结果联系起来。例如，机器人将以指定速度完成定义的任务族，干预有限制且无不可接受的安全事件，相较于当前流程。
定义工作流程边界和基线
映射输入、对象、人员、系统、任务启动、任务结束及异常处理。识别仍需手动的部分。机器人可能完成动作，操作员准备每个对象或恢复所有故障。
使用与PoC相同的输出定义来衡量当前流程。包括吞吐量、人工接触时间、缺陷、延迟、损坏、安全和变异。没有基线，改进主张没有分母。
将成功转化为可观察的指标
NIST发布强调可重复测量的 机器人测试方法研究。 PoC应在执行前定义任务成功、质量、时间、干预和失败类别。
使用已验证的已完成结果，而非仅靠机器人动作。报告分子和分母，区分自主操作与监督或遥操作。定义是否包含设置、重置和恢复时间。
| 指标 | 定义 | 分母 | 操作问题 |
|---|---|---|---|
| 任务成功 | 已验证的可接受输出 | 所有尝试任务 | 它能表现吗？ |
| 干预率 | 人工协助事件 | 任务或运营时间 | 有多自主？ |
| 循环时间 | 从开始到验证结束 | 成功与失败的周期 | 有多高效？ |
| 覆盖范围 | 已处理的合格任务 | 所需任务分配 | 有多广泛？ |
| 恢复时间 | 从故障到恢复运行的时间 | 故障事件 | 支持度如何？ |
在添加变异性之前先控制检验
为物体、姿势、光照、表面、杂波、网络、重置和操作员操作创建测试协议。使用校准测量和同步日志。重复足够多的试验以暴露变异，而不是在第一次成功后停止。
从一个受控任务单元开始调试测量和基本能力。控制不是最终的操作主张；它在引入应力条件前建立可重复的参考。
分阶段门槛应让证据强度与风险相匹配
使用门进行离线数据、台面测试、监督机器人试验、有限站点操作和扩展。每个门都有先决条件、测试、验收门槛和停止路径。风险和成本只有在早期问题得到解答后才会上升。
门禁失败可能触发重新设计，而非自动取消。记录哪些假设失败，以及哪些证据支持再次试验。除非决定明确重新框架，否则避免在看到结果后调整阈值。
变化应反映真实任务分布
列出生产中变化的条件：物体身份、变形、光照、杂波、工人行为、站点状态、网络和上游质量。有意采样并保留未处理的案例。
不要声称模型调优后团队选择的变体具有概括性。跟踪分布外事件，并定义系统是弃权、求助还是尝试恢复。
失败和干预是主要的PoC输出
创建分类法，将感知、规划、掌握、运动、控制、硬件、集成、环境和人为过程失效区分开来。在证据审查后记录根本原因，而不是将每一次失误都归属于人工智能模型。
干预措施应包括远程协助、物理重置、对象准备、软件重启和安全响应。干预的频率、持续时间和技能要求决定了支持成本和可扩展的自主性。
| 阶段门槛结果 | 含义 | 必要行动 | 不要做 |
|---|---|---|---|
| 通过 | 门槛被证据所满足 | 在有限范围内推进 | 通用就绪能力的主张 |
| 条件 | 价值存在已知缺口 | 重新设计与重新测试 | 隐藏排除 |
| 技术故障 | 能力低于阈值 | 调查根本原因 | 静默移动阈值 |
| 失效 | 工作流程值缺失 | 改变流程或停止 | 只优化演示 |
| 停止安全 | 不可接受的危害或控制 | 控制并重新评估 | 继续进行现场试验 |
集成测试应包括周边系统
根据工作流程需求连接身份、订单、库存、安全PLC、车队软件、用户界面和报告。模拟接口可以开始PoC，但集成缺口应保持明确。
测试过时数据、重复数据、网络丢失、时钟错误和命令冲突。验证幂等性和对账，确保重试不会移动错误的对象或重复更新库存。
成本证据必须包括人力和基础设施负担
跟踪工程安装、集成、夹具、计算、网络、维护、耗材、培训和人工监督。每月机器人价格或模型API费用只是其中一个组成部分。
估算观察覆盖和干预时每个已验证结果的成本。包括预期停机时间和支持响应。敏感性分析应显示哪些假设决定了业务案例。
最终报告应当明确做出下一步决定
发布协议、范围、基线、试验计数、条件、失效、干预措施、安全事件、成本和限制。将测量事实与预测分开。保存原始日志和配置，以便审计和复制。
建议应是通过、重新设计或停止，并提出理由和所有者。如果推进，应定义下一个有界限的范围、新的风险和证据空白。透明的负面PoC比一个精致模糊的演示更能节省更多价值。
评估“物理人工智能概念验证：范围、指标、试验与部署门槛”时，还应保存模型版本、机器人配置、标定文件、测试日期和全部试验记录。把成功、失败、恢复与人工介入放在同一份数据中，才能区分模型能力、系统接口和现场流程造成的差异。
成本评估除了设备与算力，还要记录数据采集、工程调试、安全措施、维护、停机和人员培训。只有把这些持续投入与单位成功任务的价值比较，才能判断方案是否适合扩大。
上线后仍要持续检查分布变化、传感器漂移、机械磨损和人工接管原因。监测结果应能触发降级、停止与重新验证流程，并为下一轮数据采集和模型更新留下可追溯记录。
最终结论应明确写出已知限制、尚未验证的场景和下一项可证伪的实验，使后续团队能够沿着证据继续推进。
实际项目还应指定数据、模型、控制器和安全流程的负责人，并预先定义回滚条件。责任边界、审批记录与变更日志越清楚，故障发生后越容易停止扩散、定位原因并安全恢复。
把任务拆成感知、决策、动作执行和结果确认，可以更准确地定位瓶颈。每一阶段都应有独立指标与失败示例，避免用端到端成功率掩盖偶发但严重的风险。
引用的产品规格、论文结果和监管要求需要记录发布日期与适用版本。资料更新后应重新核对关键结论；无法从一手来源确认的内容，应明确标注为待验证信息。
小规模试点的价值在于提前暴露接口、人员协作和异常处理问题。试点结束后应依据预设门槛决定扩大、修改或停止，而不是因为已经投入资源就默认继续。
所有结论都应能够追溯到原始记录，并可复核。
硬件与软件接口应分别记录单位、坐标系、时钟、延迟和允许范围，并通过自动测试检查不一致。接口定义变化时，旧数据和旧控制参数不能在未经验证的情况下直接复用。
异常测试应覆盖断电、通信丢失、传感器失真、对象滑移和人员进入工作区等情形。系统不仅要发现异常，还应以可预测的方式减速、停止或请求人工确认。
- 制定一个具体的决定和假设。
- 测量基线和整个工作流程。
- 预先定义指标、条件和阈值。
- 记录失败、干预和总成本。
- 使用带有明确通过、重新设计和停止三类结果的阶段门槛。
常见问题
一个物理人工智能的PoC应该运行多久？
足够长的时间，以便在预期任务变化和操作期间收集反复证据。持续时间遵循决策和失败模式，而非统一的日历。
最重要的PoC指标是什么？
经过验证的工作流程输出，涵盖任务覆盖范围、干预、时间、质量、安全和成本。没有任何单一模型或运动指标是足够的。
成功的机器人试验有多少次才够？
该数字取决于所需的置信度和变异性。始终报告分母和条件，并包含失败而非集热片段。
PoC（概念验证）应该包含系统集成吗？
应包含足够的周边系统以测试决策。模拟接口可以早期使用，但未经测试的集成必须成为明确的风险。
当PoC失败时会发生什么？
分类该缺口是技术性、操作性、安全相关还是经济性，然后停止或执行一个基于新证据标准的专门重新设计测试。
概念验证决策说明
PoC是现场和工作流程的具体证据，而非一般产品认证。在进行实时机器人测试前，与合格利益相关者共同定义危害、隐私和运营控制。