模仿学习通过期望行为的例子训练机器人。强化学习通过策略行动或探索过程中收集的奖励反馈进行训练。实际选择取决于是否提供专家演示、可信的奖励、廉价重置和安全探索。
这两种方法都不会自动生成可部署的机器人策略。模仿可能复制狭窄的演示，并在小错误后失败。强化学习可能利用奖励漏洞或需要大量经验。许多有效的工作流程从演示中预训练，在模拟中改进，并在硬件上谨慎适应。
请将此对比与 机器人数据工厂 和 仿真到现实迁移故障指南进行对比。硬件学习需要针对特定任务的监督、限制和合格的安全审查。
模仿学习始于专家行为分布
行为克隆通过演示将观察映射到行动。它可以学习复杂的操作，而无需明确的分析控制或奖励。其质量受限于专家展示的内容及其操作的一致性。
当所学策略犯下小错误时，可能会影响到未曾参与示范的州，从而加剧错误。收集恢复数据、多样化方法和纠正数据，而不仅仅是干净的名义轨迹。
强化学习从奖励和互动循环开始
MuJoCo Playground 提供了开放式机器人学习环境，展示了大规模基于仿真的强化学习。策略会采样动作、观察转变并调整以最大化定义收益。
奖励必须编码任务进度，不能允许捷径。探索消耗重置，可能产生影响或不安全状态。模拟、约束和课程降低成本，但不消除现实缺口验证。
学习信号决定了首先尝试的方法
当专家能够展示任务且自动成功反馈较弱时，使用模仿。当结果可以反复评分且探索成本低廉时，使用强化学习。当演示提供安全的起始分布并奖励提升表现时，使用混合学习。
选择可能因层而异。语义规划器可能通过演示学习，而运动控制器则使用仿真强化学习。在比较算法前，先定义观察界面和动作界面。
| 状况 | 模仿学习 | 强化学习 | 可能的顺序 |
|---|---|---|---|
| 专家数据强有力 | 直接有用 | 可以初始化策略 | 先模仿再精炼 |
| 清晰且可自动计算的奖励 | 可选 | 强贴合 | 带基线的强化学习 |
| 不安全探险 | 更安全的初始路径 | 需求模拟器或约束 | 先模仿 |
| 稀少的成功 | 需要成功的例子 | 信用分配困难 | 演示辅助RL |
| 需要新颖的最优方案 | 受限于示例 | 可以超过演示 | 混合体，奖励谨慎 |
演示质量比原始小时数更重要
专家数据应涵盖对象、接近点、接触点、故障和恢复。接口延迟和操作员视角塑造运动。混合专家可能产生冲突的风格或有用的多样性，具体取决于上下文的标签方式。
测量事件结果和动作一致性。加权或过滤应可追溯。如果机器人能够自主运行，应通过保护性干预或迭代数据聚合，从自身错误产生的状态中收集数据。
奖励设计可以制造令人信服但错误的行为
奖励是真实目标的代理。机器人可能在破坏物体时移动得很快，悬停在目标附近却未完成任务，或者利用模拟器中的伪影。检查轨迹和故障模式，而不仅仅是累计回报。
分解奖励术语，跟踪其量表并测试对抗情境。优先采用与已验证任务完成度相对应的结果衡量。受限或安全意识培训仍需独立的保护控制。
线下学习和在线探索存在不同的风险
离线模仿或强化学习使用固定数据，避免新硬件探索，但无法恢复数据集中缺失的信息。分布偏移使价值估计或动作选择变得不可靠。
在线学习可以收集有针对性的经验，但会改变操作策略。使用影子测试、仿真、有界参数更新和回滚。生产机器人不应成为无控实验。
模拟改变的是成本，而不是证据的边界
并行环境使强化学习在接触、运动和灵巧度方面变得实用。域随机化和系统识别可以提升迁移能力。模拟器奖励和物理错误也能教授在真实传感器或硬件上失败的策略。
在模拟条件下进行评估，然后通过软件在环、硬件在环和受保护机器人试验中进行。实际任务成功、干预、热、磨损和安全仍然是决定性因素。
| 评价 | 模仿风险 | 强化风险 | 所需证据 |
|---|---|---|---|
| 被搁置的回合 | 近重复泄漏 | 奖励过拟合 | 按组划分数据 |
| 扰动 | 复合误差 | 脆性最优 | 恢复试验 |
| 模拟传输 | 缺少具体细节 | 利用仿真物理漏洞 | 实校准 |
| 硬件接触 | 专家覆盖缺口 | 不安全探险 | 受控试验 |
| 长期运营 | 漂移与例外情况 | 策略不稳定 | 运营指标 |
策略架构并不能决定方法的选择
变换器、扩散策略和循环网络可以通过模仿、强化目标或两者兼用来训练。模型容量会影响数据需求和延迟，但学习信号和评估设计仍决定哪些行为被强化。
比较具有相同观测、动作、任务分工和机器人限制的算法。包含推理时序和控制器接口。如果策略错过硬件控制截止时间，离线分数越高就无关紧要。
混合工作流程应有明确的交接标准
常见的顺序包括演示预训练、仿真微调、受限硬件适配和定期数据更新。每个阶段应说明输入的数据、奖励和策略版本，以及允许进展的证据。
防止评估数据逆流到训练中。保持简单的脚本化或模仿基线。如果强化学习提升了某项指标，而导致干预、稳定性或能量下降，释放决策应反映整个任务。
最终选择属于任务级试验
衡量所需变化、恢复、干预、周期时间、力、能量和硬件应力的验证成功情况。测试未见物体和起始状态。报告分母和信心，而非选定视频。
选择最简单的方法，满足证据阈值。混合方法并不自动更好；它增加了数据和调试的复杂性。保留回滚并监控部署的分发是否发生变化。
评估“机器人模仿学习与强化学习：何时选择哪一种”时，还应保存模型版本、机器人配置、标定文件、测试日期和全部试验记录。把成功、失败、恢复与人工介入放在同一份数据中，才能区分模型能力、系统接口和现场流程造成的差异。
成本评估除了设备与算力，还要记录数据采集、工程调试、安全措施、维护、停机和人员培训。只有把这些持续投入与单位成功任务的价值比较，才能判断方案是否适合扩大。
上线后仍要持续检查分布变化、传感器漂移、机械磨损和人工接管原因。监测结果应能触发降级、停止与重新验证流程，并为下一轮数据采集和模型更新留下可追溯记录。
最终结论应明确写出已知限制、尚未验证的场景和下一项可证伪的实验，使后续团队能够沿着证据继续推进。
实际项目还应指定数据、模型、控制器和安全流程的负责人，并预先定义回滚条件。责任边界、审批记录与变更日志越清楚，故障发生后越容易停止扩散、定位原因并安全恢复。
把任务拆成感知、决策、动作执行和结果确认，可以更准确地定位瓶颈。每一阶段都应有独立指标与失败示例，避免用端到端成功率掩盖偶发但严重的风险。
引用的产品规格、论文结果和监管要求需要记录发布日期与适用版本。资料更新后应重新核对关键结论；无法从一手来源确认的内容，应明确标注为待验证信息。
小规模试点的价值在于提前暴露接口、人员协作和异常处理问题。试点结束后应依据预设门槛决定扩大、修改或停止，而不是因为已经投入资源就默认继续。
所有结论都应能够追溯到原始记录，并可复核。
硬件与软件接口应分别记录单位、坐标系、时钟、延迟和允许范围，并通过自动测试检查不一致。接口定义变化时，旧数据和旧控制参数不能在未经验证的情况下直接复用。
异常测试应覆盖断电、通信丢失、传感器失真、对象滑移和人员进入工作区等情形。系统不仅要发现异常，还应以可预测的方式减速、停止或请求人工确认。
- 请定义任务、观察、行动和成功。
- 审计演示和奖励漏洞。
- 通过模拟和防护措施进行受限探索。
- 使用保持和扰动评估。
- 仅在代表性硬件试用后发布。
常见问题
模仿学习是监督学习吗？
行为克隆通常是通过观察-行动例子进行监督学习，尽管更广泛的模仿方法也可以使用对抗性或反向奖励目标。
强化学习能在没有演示的情况下奏效吗？
当奖励、探索和重置实用时是可以的，但演示往往加速了稀疏或高风险的机器人任务。
为什么模仿学习会在小错误后失败？
该策略可能输入专家数据中未显示的状态，导致错误累积。恢复数据和迭代收集帮助。
为什么要在模拟中训练强化学习？
仿真允许大规模探索和重置而不损坏硬件，但所学策略仍需真实世界的传输验证。
这两种方法应何时结合使用？
当示范提供了有用的安全启动策略和奖励引导的互动时，结合它们在受控条件下提升性能。
学习方法说明
机器人学习可能会在训练分布之外产生意外动作。使用独立限制、监控试验、回滚和任务特定安全工程；模型训练结果不能证明机器人系统安全。