机器人动作数据是与时间对齐的记录，记录机器人观察到的、处于何种状态、被赋予的任务、被命令的动作以及接下来发生了什么。视频可以展示场景，但通常无法重建控制决策，因为缺少关节状态、校准、时间戳、夹持器指令和干预。
每个事件应保留训练或审计策略所需的因果序列。摄像头帧和本体感觉描述当前状态；语言或任务标识符定义目标；动作改变机器人；成功、失败或恢复标签描述结果。如果这些信号使用不同的时钟或未公开的坐标系，数据集可能很大但仍然无法使用。
质量取决于覆盖范围和意义，而不仅仅是小时数或回合数。有用的集合包括代表性变体、失败尝试、操作员干预、模式版本以及足够的元数据以复现预处理。跨机器人数据集不仅增加了规模，也使动作规范化和具象描述变得不可或缺。
一个训练回合包含同步闭环
一个事件从初始状态开始，记录观察和操作，直到成功、失败、超时或中断。界限很重要，因为训练示例必须将指令和起始条件与结果序列连接起来。错误剪辑可能会将动作与错误目标配对，或隐藏恢复过程。
卡片列出了五大数据族：观察、机器人状态、任务上下文、动作和结果。数据集可以添加音频、力、触觉感知、规划器状态或安全事件，但这些核心类别为理解行为提供了实际的最低标准。
观察和机器人状态描述的是不同的事物
外部观测通过RGB、深度、点云、力、音频或其他传感器描述环境。机器人状态描述身体本身：关节位置、速度、转矩估计、夹持器状态、移动基座姿势和控制器模式。策略可能需要两者，以区分可见目标与身体当前可达范围。
校准将两者联系起来。相机内在变量、相机到底座的变换、传感器偏移量和坐标帧名称应与回合同步纳入版本管理。没有这些，硬件或软件更换后，像素或3D点无法一致地解释。
动作格式定义策略的目标
机器人动作可以记录为关节位置、速度或转矩指令；末端执行器姿势；夹持器指令；移动基座速度；或离散标记。它们可以是绝对目标、当前状态的差值或多步块。这些格式在没有变换规则的情况下无法互换。
这种区分对 VLA 模型也很重要。预测笛卡尔航点的模型需要控制器和逆运动学。预测机器人特定关节的模型包含更多具体细节，但可能不易转移到其他机器。
| 动作场 | 示例 | 必需元数据 |
|---|---|---|
| 关节目标 | 臂关节位置 | 联合序、单位与界限 |
| 末端执行器目标 | 六维位姿或增量位姿 | 坐标系与惯例 |
| 抓手指令 | 位置、力或开合 | 命令含义与硬件范围 |
| 动作块 | 未来多个时刻的指令 | 速率、地平线和中断规则 |
时间对齐是标签的一部分
在动作前捕捉的摄像机帧不能随意与后续指令配对。传感器曝光、编码、传输、推理和控制器队列都会引入延迟。如果时间戳不准确，模型会学习到相位关系，并在硬件上反应较晚。
使用共享时钟或有文档的同步方法，保留原始时间戳并记录采样率。数据重新采样时，存储插值和比对规则。测量延迟分布，使训练能够再现真实的延迟，而不是假设所有模态同时到达。
遥控操作提供意图和可执行的动作
遥操作让操作者通过机器人自身的动作界面演示任务。它捕捉硬件可执行的动作，并在物体移动或抓握滑动时进行修正。操作界面、摄像头视角和控制映射会影响最终数据，应被记录。
演示并非自动最优。操作员可能动作缓慢，使用捷径或适应界面延迟。质量审查应识别空闲段、碰撞、意外指令和隐藏辅助。纠正演示和干预数据可能比简单的成功更有价值。
跨机器人数据需要一个显式的通用模式
机器人在关节数量、链节几何形状、夹持器、传感器和控制速率上存在差异。一个称为“作用”的场可能在一个平台上表示度数，在另一个平台上表示弧度，在第三个平台上表示工具框架的差值。将它们组合而不使用语义模式会产生无声的标签错误。
跨机体数据集应保留原始动作、使用时的归一化表示、转换代码以及足够的机器人元数据以反转映射。缺失的维度、不可用的传感器和不同的成功定义应是显式的，而非填充未解释的零。
Open X-Embodiment既展现了规模性，也表现出异质性
Open X-Embodiment项目汇集了来自众多机器人、机构和任务的数据集。其视觉多样性展示了机器人数据为何支持更广泛的学习，但配套的仓库许可和免责声明也提醒用户检查数据集特定的术语和表示。
当模型能够区分共享任务结构与具身特定命令时，多样性非常有用。保持源数据集身份、机器人描述和预处理系谱，使意外结果能够追溯到贡献的片段，而非被视为不透明的混合。
数据集质量通过可恢复的证据来衡量
有用数据可以被检查、回放和追踪。每个事件应有稳定的标识符、模式版本、机器人和校准元数据、任务定义及质量状态。训练、验证和测试拆分应防止几乎重复的轨迹或场景在评估中泄露。
覆盖范围应在任务条件间报告，而非仅限总规模。计数对象、初始姿态、环境、操作员、失效和干预。该表将常见的质量声明转化为读者或模型开发者可验证的证据。
| 质量声明 | 要存放的证据 | 若省略则为失败 |
|---|---|---|
| 同步 | 原始时间戳和对齐方法 | 动作与错误的观察结合 |
| 多元性 | 按任务、物体、场景和机器人计数 | 许多回合重复同样简单的情况 |
| 可重复 | 模式、校准和转换版本 | 预处理无法重建 |
| 有效评估 | 按组划分数据并审计重复项 | 测试性能因泄漏而被提升 |
培训和评估应当保护失败
机器人数据集通常强调成功的演示，因为模仿学习需要期望行为的示例。 机器人基础模型 还受益于知道何时行动失败、何时有人介入以及恢复如何恢复有效状态。移除所有失败可以隐藏决策边界。
失效数据应按可观察原因标注，但不应发明确定性。物体掉落可能涉及感知、抓取、控制或意外接触。应分别保存完整的痕迹和人工注释，以便后续分析能修正原因，同时保留事件本身。
第一集前的收藏清单
在大规模收集前先编写模式。定义时钟、坐标帧、单位、动作语义、回合数边界、成功规则、干预事件和隐私处理。运行一个小捕获，离线重建任务，并验证第二人能在没有未公开知识的情况下解读每个字段。
然后将收集与部署问题联系起来。 仿真和真实机器人数据 可以互补，但它们必须保留其域和生成元数据。目标不是一个大型文件夹；它是一个可信的记录，可以训练、评估和调试物理策略。
评估“机器人动作数据：训练回合记录什么，为何仅靠视频不够”时，还应保存模型版本、机器人配置、标定文件、测试日期和全部试验记录。把成功、失败、恢复与人工介入放在同一份数据中，才能区分模型能力、系统接口和现场流程造成的差异。
成本评估除了设备与算力，还要记录数据采集、工程调试、安全措施、维护、停机和人员培训。只有把这些持续投入与单位成功任务的价值比较，才能判断方案是否适合扩大。
上线后仍要持续检查分布变化、传感器漂移、机械磨损和人工接管原因。监测结果应能触发降级、停止与重新验证流程，并为下一轮数据采集和模型更新留下可追溯记录。
- 请定义回合开始、成功、失败、暂停和干预。
- 版本传感器校准、坐标帧和动作语义。
- 同步观察、状态和命令，使用有文档记录的时钟。
- 保留故障、恢复以及操作员身份或协议元数据。
- 在制定评估分段前，先审计重复和泄露情况。
常见问题
机器人动作数据和机器人视频是一样的吗？
不。视频是一种观察模式。动作数据还需要机器人状态、指令、时机、任务上下文、校准和与该事件结果相符。
为什么失败的机器人回合有用？
它们揭示了策略、控制器或任务边界的突破点，并能教导恢复或安全拒绝执行。即使确切原因不确定，追踪也应被保留。
不同机器人的动作数据可以合并吗？
可以，但仅限于显式具身元数据、单元、帧、动作语义和转换规则。共享字段名称并不意味着命令是等价的。
多少机器人数据才算足够？
没有统一的时长或回合数。任务、对象、条件、故障和评估独立性的重要性远比单一的宣传规模数字更重要。
我在哪里可以找到公开的机器人动作数据集？
Open X-Embodiment 和 Hugging Face LeRobot 是有用的起点。使用前请检查每个数据集的模式、机器人、许可和任务覆盖情况。
数据集规模并不保证能力
数据集规模、机器人数量或视频小时数本身并不能确定质量、概括性或部署准备度。检查模式、覆盖范围、沿袭和评估独立性。