用于机器人学习的合成数据由软件生成，而不仅仅是从物理传感器和人工注释中捕获。模拟器或生成流水线可以大规模创建场景、机器人轨迹和标签。数据可能包括RGB、深度、分割、物体姿势、接触、动作、奖励和成功事件。
其价值在于可控性。开发者可以调整物体位置、光照、摄像机姿态和罕见的失效条件，然后直接从现场获取标签。合成数据并非仅因为标签自动而变得正确。几何形状、传感器效应、动力学和任务定义都可能与现实不同。
因此，该方法属于更广泛的 仿真到现实迁移策略的一部分。合成数据可以预训练模型或填充稀疏案例，而保留的真实数据和机器人试验则决定其是否能改善预期任务。仅仅以数据集大小为标准，并非验收标准。
合成数据可以描述感知、行为和事件
感知数据集将渲染后的传感器输出与边界框、遮罩、深度、法线和物体姿态等标签配对。动作数据集包含机器人的观察、状态和命令。事件数据集标记接触、碰撞、抓取成功、目标完成或干预。不同的学习目标需要不同的同步输出。
NVIDIA目前 Isaac Sim 合成数据文档 将感知、动作与事件、抓取、移动和遥操作工作流程区分开来。该分类法非常有用，因为一堆图像无法在没有对齐状态和结果信息的情况下，教会机器人其动作的后果。
| 数据类型 | 典型标签 | 机器人使用 | 质量问题 |
|---|---|---|---|
| 认知 | 边界框、掩码、深度和位姿 | 探测与现场状态 | 外观符合传感器条件吗？ |
| 行动 | 观察、状态与指挥 | 模仿与策略学习 | 时机和框架对齐了吗？ |
| 事件 | 接触、碰撞及结果 | 恢复与评估 | 标签和任务语义一致吗？ |
| 轨迹 | 机器人与物体运动 | 规划与预测 | 动力学和约束合理吗？ |
自动标签是一大优势
模拟器了解场景对象的身份、几何和姿态。它可以渲染图像并导出精确标签，而无需人工绘制每个遮罩。它还能揭示隐藏的表面、遮挡关系和深度，这些在现实世界中测量可能成本较高。
标签相对于模拟场景是精确的，不一定是相对于展开传感器。如果渲染器忽略运动模糊、多径深度误差或镜头失真，完美的模拟标签可能会伴随不现实的观测结果。标签的正确性和观测准确度必须分别评估。
场景设计从部署分发开始
列出部署时预期的物体、环境、摄像头视角、机器人状态和故障条件。仓库探测器需要包装变化、杂乱、标签撕裂和部分遮挡。家用机械臂需要更宽的几何形状、材料、人员、宠物和不断变化的背景。
使用真实测量来定义合理的范围。库存统计、相机校准、照明测量和机器人日志比任意变化提供更好的先验。保持物体质量与几何体或相机曝光与照明等相关性，使生成的场景保持物理意义。
域随机化扩大了覆盖范围
域随机化会变化于外观、姿态、传感器、动力学和控制，因此模型不能依赖单一名义模拟。目标是覆盖相关不确定性，而非使每个变量都尽可能随机。不合理的组合会浪费容量并降低任务信号。
专门的 领域随机化指南 解释了范围设计、相关性和硬件反馈。每个分布和种子都纳入版本管理。否则，改进无法追溯到新数据、模型变化或生成器的意外偏移。
传感器仿真确定视觉间隙
机器人模型会消耗特定镜头、深度装置、激光雷达模式和惯性传感器的输出。通用的干净渲染可能会省略噪点、延迟、掉落、滚动快门、曝光、反射和校准误差。这些效果即使在场景资源看起来真实时，也可能主导部署。
使用 机器人传感器指南 定义哪些测量属性重要。将强度、深度孔洞、点密度和时间分布与真实捕获进行比较。重建的真实场景可以在提升外观的同时，仍要求正确的传感器和机器人动态。
动作数据需要可信的物理和控制时序
感知模型有时能容忍近似动力学，因为它从图像中学习。控制接触的策略需要可信的质量、摩擦、顺从性、执行器限制和延迟。小错误可能改变抓握的稳定性、冲击或平衡，导致策略利用硬件无法实现的行为。
记录每个数据集版本的模拟步骤、控制率、动作表示和安全限制。验证运动与真实轨迹和力的匹配。随机化可以降低对不确定参数的敏感性，但无法补偿缺失机制或错误的任务接口。
| 隙口 | 合成检验 | 真正的检查 | 可能的回应 |
|---|---|---|---|
| 外观 | 展出的素材与灯光 | 实像性能 | 改进材料或随机化 |
| 传感器 | 噪声与延迟注入 | 原始数据流统计 | 校准传感器模型 |
| 动力学 | 参数扫除 | 轨迹与接触误差 | 识别或随机化物理 |
| 任务 | 场景覆盖 | 故障与干预日志 | 添加缺失条件 |
| 标签 | 生成元断言 | 示例人工审计 | 修复语义或导出 |
真实数据与合成数据的混合训练方案通常更为强大
合成数据可以提供广泛的预训练和平衡的罕见案例。较小的真实数据集则调整模型以适应传感器的外观、动态和操作上下文。混合比应被视为实验，而非普遍常数。
保持独立的实验证和测试集，从不调整生成器或模型。如果每次真实失败都反馈到训练中再进行测量，进展可能被高估。报告仅合成、仅实和混合基线，采用同一评估协议。
质量意味着实用性、保真度和覆盖范围
视觉忠实度询问观测如何与现实相似，任务效用则询问数据是否改善了下游模型。覆盖度则询问重要状态和失效模式是否被代表。多样性而无任务相关性可以增加工作量，同时保持操作盲点不变。
审计类平衡、场景组合、重复、标签完整性和不可能状态。训练探针模型并通过真实世界切片进行性能比较，而非单一平均值。生成器还应揭示来源：资产、许可、软件版本、参数和随机种子。
现实世界的验证关闭了数据循环
将候选模型部署在受控机器人试验中，并记录预测或动作失效的地方。将每次失败映射到观察、状态、参数或任务条件。尽可能在模拟中复现，生成目标变体，并在保留的实测集上重新测试。
该循环使合成数据对证据而非美学作出响应。写实渲染仅在减少测量误差时有用。保留模拟器无法复现的失败；它们识别缺失的物理、感应或操作假设。
治理涵盖许可、隐私和可重复性
合成数据可以减少对个人或专有真实场景的收集，但生成的资产和源模型仍有许可和使用条款。避免假设合成手段无限制。跟踪3D素材、纹理、预训练模型和生成输出的来源和允许使用。
车载数据收集仍可能捕捉到人员或客户环境。 边缘AI指南 讨论了选择性日志和保留。发布数据集卡，描述目的、生成流程、已知缺口、评估及禁止解释。
评估“机器人学习的合成数据：标签、随机化、质量与真实验证”时，还应保存模型版本、机器人配置、标定文件、测试日期和全部试验记录。把成功、失败、恢复与人工介入放在同一份数据中，才能区分模型能力、系统接口和现场流程造成的差异。
成本评估除了设备与算力，还要记录数据采集、工程调试、安全措施、维护、停机和人员培训。只有把这些持续投入与单位成功任务的价值比较，才能判断方案是否适合扩大。
上线后仍要持续检查分布变化、传感器漂移、机械磨损和人工接管原因。监测结果应能触发降级、停止与重新验证流程，并为下一轮数据采集和模型更新留下可追溯记录。
- 定义下游机器人决策。
- 生成一致的观察、行动和结果。
- 测量真实的部署分布。
- 比较纯合成、纯实和混合基线。
- 用保留的真实机器人试验来收尾。
常见问题
合成数据能取代真实机器人数据吗？
通常不会完全完成。它可以降低采集成本、预训练模型并覆盖罕见情况，但需要真实数据来衡量模拟器和部署差距。
合成数据会自动标记吗？
通常是的，因为生成器知道物体和场景状态。导出的标签仍可能语义错误，或与不切实际的观察匹配，因此审计仍然必要。
机器人项目应该使用多少合成数据？
没有固定的比例。在相同的真实评估下比较纯合成、仅真实和混合训练，然后选择满足任务要求的最小混合。
照片写实主义是否保证了有用的机器人数据？
不。正确的几何形状、时机、接触、传感器效应和任务覆盖范围可能更为重要。下游的现实效用是决定性指标。
合成数据集卡应包含哪些内容？
包括目的、生成器和版本、资产与权利、变量与分布、传感器、标签、已知缺口、质量检查以及对保留的真实数据或硬件的结果。
数据与验证说明
合成数据工具、资产和许可发展迅速。核实当前文档和权利，保留生成器来源，只有在真实数据和机器人试验显示任务层面效益后才接受数据集。