当真实机器人所经历的观察和后果与模拟中使用的差异足够大，导致学习策略选择错误的行动时，仿真到现实迁移的传输就失败了。这种不匹配并不是一个神秘的仿真—现实差距。它可以分解为视觉、传感器、动力学、控制和任务之间的差距，这些都需要不同的测量和补救措施。
策略在仿真中可能完美掌握，但在硬件上却因摄像头移动、接触摩擦错误、控制器延迟或物体开始超出训练分布而失误。增加随机化而不定位原因，会使训练更难，而主导失败则未被触及。
实际操作流程是重现失败，比较同步模拟与硬件痕迹，找出最早的分歧点，修改一个不确定性模型，并重复同样的评估。成功的转移来自受控的真实机器人试验，而非视觉相似性或单一演示。
在选择解决方案前，先拆解仿真—现实差距
“仿真—现实差距”这一短语仅作为起始标签。调试记录应识别哪个观察变量最先偏离：图像特征、传感器状态、接触、联合响应、时间或任务上下文。该变量指向校准、模型识别、随机化、控制或数据集变化。
五间隙卡提供了诊断图。多个间隙可以相互作用，但单独测量它们可以防止视觉补救应用于动力学问题，或更广泛的数据集掩盖控制器速率问题。
视觉上的差距会改变策略对其的看法
渲染的光照、纹理和反射很少与真实相机相匹配。镜头畸变、曝光、运动模糊、压缩和部分遮挡会进一步改变特征。针对干净物体边界训练的策略，在混合光线下出现透明、金属或可变形物体时可能失效。
通过成对或可比较场景测量视觉差距。在评估完整任务前，检查检测和分割。域随机化、写实渲染、实像微调或外观转换都有帮助，但每种方法都应与观察到的失效模式绑定。
传感器间隙包括校准、噪声和时间
深度相机、力传感器、编码器和惯性传感器会产生偏差、衰落和量化，这些在仿真中可能缺失或简化。即使感知模型正确，相机到机器人的校准也可能使目标移动几厘米。时间戳误差可以将不同物理时刻的测量数据合并。
记录原始传感器消息和校准版本。比较仿真与硬件之间的噪声分布、缺失数据模式和帧时序。注入测量到的噪声和延迟，而非任意选择，并保留族外测试，避免策略仅针对单个机器人。
动力学间隙出现在接触处
质量、重心、摩擦、刚度、阻尼、间隙和执行器饱和度决定了指令如何转变为运动。接触丰富的任务会放大小误差，因为不同的表面法线或顺应性会改变力和未来状态。刚性仿真可能高估软体或不规则物体的重复性。
在有测量数据的情况下使用系统识别。从硬件痕迹估算执行器响应、载荷、摩擦和延迟，然后测试模拟器是否能重现这些痕迹。将剩余不确定性随机化在测量值周围，而不是用非常宽的分布替代校准。
| 差距类型 | 可观察的症状 | 第一次测量 |
|---|---|---|
| 视觉 | 动作前的物体或姿势错误 | 匹配场景的感知输出 |
| 传感器 | 状态跳跃、偏置或几何不一致 | 原始信号、校准和时间戳 |
| 动力学 | 接触后弹道分岔 | 指令运动与实测运动、力的对比 |
| 控制 | 超冲、振荡或晚期修正 | 端到端延迟与控制率 |
| 任务 | 仅在新布局或新对象中失败 | 训练与测试分布的覆盖范围 |
控制缺口甚至会改变正确的策略输出
仿真可以以精确速率应用动作，且不会有通信抖动。真实系统具有推理时间、网络延迟、控制器队列、安全滤波器和电机限制。因此，物理命令可能延迟到达或被截断，产生策略在训练中从未遇到的观察值。
测量完整的感知到行动延迟及其分布，而不仅仅是平均模型推断。在仿真中重放真实时序，测试速率限制和饱和度，并验证安全控制是否会产生隐藏的不连续性。低级别跟踪控制器也应独立于所学策略进行验证。
任务间隙源于操作环境
实际工作会带来物体磨损、意外位置、人员、杂乱、有效载荷变化和不完全重置。策略可能跨越视觉和动态差距，针对一个准备好的场景，但当任务分布扩大时失败。这是覆盖问题，而非模拟器保真度问题。
在训练前定义操作范围：物体、姿态、光照、表面、有效载荷、人类距离及允许扰动。评估包络内侧及外侧。边界显示下一步改进是否应扩展数据、限制部署或增加恢复程序。
领域随机化应遵循测量到的不确定性
域随机化使策略暴露于不同的外观或物理环境，从而减少对单一模拟配置的依赖。 NVIDIA的 Isaac Sim 文档展示了如何将视觉属性随机化以生成合成数据。
随机化不能替代诊断。如果范围过窄，真实系统仍会处于训练分布之外。如果范围过宽，策略可能会变得保守或无法学习有用的结构。从测量变异开始，然后纳入合理的尾部条件，并保留组合供评估。
外观转移只解决了部分问题
生成外观传输可以让渲染的场景看起来更像真实的相机数据。 NVIDIA Cosmos-Transfer2.5 仿真到现实迁移的示例 展示了一个模拟帧和生成的真实输出。这对感知训练和视觉变化非常有用。
生成的帧不是硬件测试。它不能证明接触、执行器响应、延迟或恢复与现实相符。外观增强和真实机器人验证应作为独立的证据层，避免真实图像被误认为是成功传输。
真实机器人评估必须揭示失效分布
仿真到现实迁移的传输指南涵盖了完整的工作流程；故障分析增加了更严格的报告要求。统计所有试验，在测试前定义成功，按第一个可观察原因记录干预和组失败。精彩集限不能支持传输速率。
使用重复的初始状态和单独的变异集。当试验计数允许时报告置信区间，并保留失败的痕迹。表格区分支持转移主张的证据与应触发另一次检验的信号。
| 证据项 | 有用的报告 | 报告较弱 |
|---|---|---|
| 试验人群 | 所有尝试和预设成功规则 | 精选成功片段 |
| 变体 | 命名对象、姿态、光照与干扰 | 新颖性主张而无分裂 |
| 干预措施 | 人们什么时候、为什么以及多频繁地接管了 | 省略协助 |
| 故障追踪 | 最早的散度与同步对数 | 单一标签，如仿真—现实差距 |
可重复的调试工作流程
冻结策略，安全重现一次失败。将模拟和硬件日志对齐观察、动作和时间。找出最早离开预期范围的变量。更换一个模型或随机化家族，重跑同一测试集，确认目标失败减少且不产生新的主导失败。
在此循环中，保持部署限制为保守。 物理人工智能 系统必须包含不确定性，包括安全控制和人工升级，同时学习组件不断改进。目标不是证明仿真是完美；而是提供真实系统在定义范围内工作的证据。
评估“Sim-to-Real为何失败：五类现实差距与机器人调试流程”时，还应保存模型版本、机器人配置、标定文件、测试日期和全部试验记录。把成功、失败、恢复与人工介入放在同一份数据中，才能区分模型能力、系统接口和现场流程造成的差异。
成本评估除了设备与算力，还要记录数据采集、工程调试、安全措施、维护、停机和人员培训。只有把这些持续投入与单位成功任务的价值比较，才能判断方案是否适合扩大。
上线后仍要持续检查分布变化、传感器漂移、机械磨损和人工接管原因。监测结果应能触发降级、停止与重新验证流程，并为下一轮数据采集和模型更新留下可追溯记录。
- 用同步日志重现真实的故障。
- 找出最早的视觉、传感器、动力学、控制或任务分歧点。
- 一次只更换一个不确定性模型或校准。
- 重复测试同一组变异，检查回归情况。
- 只有在证据有所改善后，才应扩大操作范围。
常见问题
为什么机器人在模拟中能工作，但在现实中却失败？
实际观测和动作后果会因相机外观、传感器噪声、校准、接触物理、延迟或任务变化而有所不同。应测量第一个发散信号。
更好的照片写实能解决仿真到现实迁移的效果吗？
单靠写实本身不是。照片写实可以缩小视觉差距，但传感器的时序、动态、控制、接触和任务覆盖仍需测量和硬件测试。
系统识别和域随机化有什么区别？
系统识别通过硬件数据估算模型参数。域随机化在不确定值分布中进行训练。它们协同工作效果最佳。
每个模拟器参数都应该随机化吗？
不会。随机化那些不确定且实质性影响任务的参数。过于宽泛或无关的变异会降低学习效率，掩盖真正的原因。
有多少真实机器人试验证明了转移？
没有统一的数字。报告所有尝试、预定成功规则、置信度、变异、干预和失败原因，均为预期操作范围。
外观转移不是验证
生成的真实图像和模拟基准结果无法证明硬件运行安全可靠。在定义协议下进行真实机器人测试仍然必要。