仿真到现实迁移（Sim-to-Real）是把在模拟环境中训练或验证的机器人策略部署到真实机器上的过程。仿真可以快速生成大量轨迹，但真实世界中的摩擦、质量、相机噪声、通信延迟和装配误差不会完全等于模拟参数。
因此，Sim-to-Real 并不是把画面做得越逼真越好，而是找到哪些差异会改变任务结果，并通过建模、随机化、标定和实机数据把策略训练成对这些差异不敏感。无法消除的差异则需要通过运行边界和安全机制管理。
一个可用的迁移流程是：列出差距，确定影响，扩展仿真分布，进行小规模实机试验，再把真实失败回流。每一轮都应有可比较的指标，而不是只凭视觉效果判断。
什么是仿真—现实差距
仿真—现实差距是模拟环境与真实系统在观测、动力学、执行和流程上的差异。它可能来自物理引擎对接触的近似，也可能来自相机曝光、关节间隙、网络抖动、夹爪磨损或人员摆放方式。
差距并不要求每个参数都非常大。多个小误差会沿闭环累积：相机位置偏几毫米，抓取点随之偏移；控制器晚几十毫秒响应，末端在接触时越过目标；两者叠加就可能使仿真中的稳定策略在实机上持续失败。
差距可以分成哪些类型
视觉差距包括纹理、反射、阴影、背景和相机成像特性；动力学差距包括质量、惯量、摩擦、弹性和碰撞模型；控制差距包括执行器饱和、死区、延迟和控制频率；流程差距则来自对象摆放和人员操作。
分类的目的不是制作一张完整清单，而是把失败现象连接到可能原因。若策略在接触前就偏离，先检查感知和标定；若接触后滑落，摩擦、夹持力和材料变化可能更重要；若只在高速动作时失败，则延迟和执行器响应值得优先测量。
| 差距类型 | 常见来源 | 可能出现的现象 |
|---|---|---|
| 视觉 | 光照、反射、相机噪声 | 识别不稳或位置漂移 |
| 动力学 | 质量、摩擦、碰撞近似 | 滑动、反弹或轨迹偏差 |
| 控制 | 延迟、死区、频率不同 | 振荡、超调或动作滞后 |
| 流程 | 摆放、磨损、人员操作 | 分布外输入和重复性下降 |
域随机化为什么有效
域随机化是在训练过程中不断改变纹理、光照、相机位置、质量、摩擦、延迟等参数，使策略无法依赖某个过于理想的模拟条件。经典动力学随机化研究展示了通过扩大参数分布进行零样本实机迁移的思路。
随机范围并非越大越好。范围过窄，真实系统可能落在训练分布之外；范围过宽，策略会为不可能发生的极端条件牺牲性能。合理做法是先测量实机参数与波动，再围绕估计区间设置随机分布并持续更新。
系统辨识负责缩小关键不确定性
系统辨识通过输入已知动作并测量响应，估计质量、惯量、摩擦、阻尼、执行器增益和延迟等参数。它能把完全未知的模拟设置变成有证据的范围，使域随机化更贴近真实设备。
辨识结果也会随时间变化。更换工具、调整负载、润滑状态变化或零件磨损都会改变动力学。因此需要记录硬件配置和测量日期，并在性能明显漂移或设备维护后重新校准，而不是永久沿用初始参数。
观测和动作接口必须严格对齐
训练时的图像尺寸、颜色处理、深度单位、坐标系、关节顺序和归一化方式，必须与部署时一致。一个常见错误是模型本身没有变化，但实机中的米与毫米、世界坐标与机器人坐标或关节索引不一致。
动作接口也要逐项核对。VLA 策略可能输出位置、速度、力矩或离散动作标记，控制器则可能期望增量或绝对目标。接口错配会造成尺度错误、方向反转或不稳定，且很容易被误判为模型泛化不足。
延迟和控制周期为何经常被低估
仿真常以固定步长运行，观测、推理和动作几乎同步；真实系统却包含相机曝光、数据传输、模型推理、总线通信和执行器响应。端到端延迟和抖动会让策略依据已经过时的状态行动。
应分别测量平均延迟、分位数和最坏情况，并在仿真中注入类似的延迟分布。对于接触或快速移动任务，还要确认高层策略与低层控制器的频率分工，避免低频模型直接承担需要高频稳定的控制。
标定误差会把正确动作变成错误位置
相机内参决定像素如何对应视线，外参决定相机与机器人坐标系的关系，工具中心点决定末端真正接触的位置。任何一项偏移都可能让视觉上正确的目标变成无法到达的抓取点。
标定不应只在首次安装时完成。碰撞、相机支架松动、更换夹爪和维护操作都可能改变几何关系。团队应保存标定版本、误差结果和硬件配置，并设置能快速发现漂移的基准动作。
从仿真到实机应分阶段扩大风险
第一阶段可在回放数据或软件在环环境中检查输入输出；第二阶段使用硬件在环但限制速度和工作空间；第三阶段在受控工位执行少量真实动作；确认停止、日志和恢复正常后，才逐步增加速度、载荷和场景变化。
每个阶段都应规定退出条件，例如位置误差超限、通信丢失、异常力或模型置信度过低。出现退出条件时应回到问题定位，而不是为了完成演示临时放宽限制。
- 先验证坐标、单位和动作方向
- 限制速度、力和工作空间
- 保留每次实机动作的完整日志
- 通过门槛后再增加变化和任务时长
评估必须让仿真和实机可比较
仿真与实机应使用相同的任务定义、成功条件和失败分类。若仿真只要求物体接近目标，而实机要求稳定放置并保持数秒，两边的成功率没有直接可比性。初始状态分布也应尽量一致。
除了成功率，还应比较轨迹误差、完成时间、碰撞、滑落、保护性停止、人工介入和恢复率。最好报告每项指标的试验次数及不确定性，避免用少量运行得出过度确定的结论。
| 评估项目 | 仿真需要记录 | 实机需要补充 |
|---|---|---|
| 任务结果 | 统一成功与失败条件 | 人工介入和停止 |
| 运动表现 | 轨迹、速度、接触事件 | 电流、力和机械限制 |
| 时间 | 模拟步数与计算时间 | 端到端延迟和抖动 |
| 环境 | 参数分布与随机种子 | 实际对象、光照和配置 |
如何根据失败症状定位差距
失败分析应从时间线开始：错误在感知、接近、接触、搬运还是放置阶段首次出现。然后把该阶段的观测、动作和设备状态与成功运行对比，优先检查能解释差异且可以测量的变量。
开源项目 TRANSIC 展示了利用真实世界纠正信号弥补仿真策略缺陷的路线。关键启示不是某一种算法适合所有任务，而是实机失败应被结构化地收集并反馈到策略改进中。
什么时候不应把 Sim-to-Real 作为首选
若任务高度依赖柔性材料、液体、复杂破坏过程或尚不成熟的传感器，建立足够可信的仿真可能比直接采集安全实机数据更昂贵。此时可以用示教、离线数据或受限实机学习作为主要路线。
如果设备数量很少、环境稳定、任务本身容易通过确定性方法完成，复杂的仿真训练也未必有成本优势。选择方法应基于数据成本、风险、复用价值和维护能力，而不是因为 Sim-to-Real 看起来更先进。
小规模验证如何形成可靠迁移闭环
先选择一种工件、一台设备和一个明确完成条件，测量真实参数与基线表现。随后在仿真中复现主要失败，训练或调整策略，再以低风险方式运行固定数量实机试验，并记录每次差异。
当性能达到门槛后，再逐一增加光照、对象、速度或负载。每次只改变少量因素，团队才能知道改进来自哪里。这个过程与物理人工智能的闭环评估一致：真实结果必须回到下一轮模型和系统设计。
仿真平台只是工具，证据才是结果
商业和开源仿真器可以提供传感器模型、并行环境和机器人资产，但平台名称本身不等于迁移成功。团队仍需说明仿真版本、物理设置、随机范围、控制接口和实机验证条件。
如果使用 NVIDIA Isaac Sim 等平台，应把可复现配置与项目一起管理。真正有价值的交付物是可解释的差距清单、可复现试验、实机日志和明确的运行边界。
常见问题
Sim-to-Real 是否意味着完全不需要实机数据？
不是。即使策略主要在仿真中训练，也需要实机数据完成参数测量、标定、验证和失败回流。所谓零样本迁移通常指不再用目标任务数据训练策略，并不表示无需实机测试。
把仿真画面做得更真实就能解决迁移问题吗？
不能。视觉逼真只处理部分差距，接触、摩擦、延迟、执行器和流程变化同样会决定结果。应优先提高与任务结果相关的模型准确度。
域随机化范围应该怎样确定？
先通过规格、测量和历史日志估计真实波动，再覆盖合理的不确定区间。范围需要用实机结果校正，过窄会漏掉真实条件，过宽则可能损害策略效率。
为什么仿真成功率很高，实机仍经常失败？
常见原因包括任务条件不一致、坐标或单位错配、标定漂移、延迟、传感器噪声和仿真未覆盖的接触参数。应按失败发生阶段逐项排查。
怎样判断一次迁移已经达到部署条件？
需要在目标硬件和目标工位上，以预先规定的试验数量和边界验证成功率、介入率、恢复、延迟和安全停止。达到门槛后仍应持续监控漂移。
把仿真结果当作待验证的假设
本文说明 Sim-to-Real 的工程方法，不代表某个仿真结果已经获得安全认证。真实机器人试验应从受控、低能量条件开始，并由具备相关能力的团队执行。