交叉身体动作规范化将拥有不同关节、工具和控制器的机器人指令映射为共享策略可学习的表示。目标是语义对齐,而不仅仅是将每个向量填充到相同长度。
七维末端执行器作用仍可在框架、旋转惯例、绝对或三角含义、控制周期和夹持器语义上有所不同。每个机器人的反向映射必须尊重伸展距离、关节极限、控制器类型和安全包线。
使用本指南配合 机器人动作数据指南 和 机器人数据质量审计。保留原生动作和可逆变换,以便将故障追溯到物理指令。
在向量长度之前规范含义
从指令类型、受控帧、单位、旋转约定、参考状态、时间区间、极限和缺失维度的模式开始。如果两个形状相同的数组一个是关节位置,另一个是笛卡尔速度,则不兼容。
每个数据集都保留本地字段名称和文档。通用张量是派生视图,不是原始机器人合同的替代品。

有意识地选择统一动作表示
笛卡尔末端执行器平移、旋转和夹具指令很常见,因为它抽象了一些关节差异。它并不能捕捉所有移动基座、多指手、双手关系或力控制模式。
定义扩展和有效性掩码,而不是假装不支持的维度是等价的。当一个通用空间失去本质控制意义时,策略架构可能需要具象令牌或机器人专用动作头。
| 土著行动 | 常见映射选项 | 必需元数据 | 主要损失风险 |
|---|---|---|---|
| 关节站位 | 前向运动学到工具姿态 | 机器人模型与关节 | 冗余 |
| 笛卡尔三角洲 | 公共帧 delta | 框架与旋转规则 | 参考不匹配 |
| 速度 | 声明区间上的Delta | 控制期 | 时间尺度 |
| 二进制夹持器 | 归一化开态或闭态 | 刀具方向与极限 | 力的含义 |
| 多指手 | 潜在头部或机器人专用头部 | 指状结构与协同效应 | 灵巧崩溃 |
区分绝对命令、增量命令和速度命令
绝对姿态表示目标, delta表示从参考点的变化,速度表示每次变化。同一个小数字在每个接口中有不同的含义和错误行为。将所有动作标记为无类型,会导致无声的缩放失败。
通过显式状态和时间区间进行转换。存储定义三角洲参考的观测值,以及旋转是否在本地坐标或世界坐标中合成。
保持坐标系和旋转约定
记录原点、轴向、手性以及平移是用底、世界、工具还是相机框架表示。旋转时,保持四元数顺序、轴角约定、欧拉序列和合成顺序。
运行带符号单元测试:正的 x、 y、 z 和正旋转应使每个机器人沿申报的物理方向移动。仅数值分布检查可能会漏掉镜像或置换轴。
通过每套机器人软件栈反向转换统一动作
目标机器人需要逆运动学、极限、碰撞检查以及一个将共同动作转换为可执行命令的控制器接口。同一个笛卡尔δ可能需要不同的关节运动,且对同一实例来说可能无法实现。
用部署时使用的精确控制器验证反映射。归一化后的削波可能会改变方向或时序,因此应暴露饱和和不可行性,而不是返回看似有效的命令。

定义每个工具的握持器语义
夹持器可以接受手指宽度、马达位置、力、速度或二元状态,开合方向在驱动器间反转。多指手带来单一标量无法保持的协同和接触模式。
存储物理距离、单位、方向、中性行为以及指令是位置还是力度。在逆映射后测试空体运动、物体接触、失速和释放。
携带缺失维度的有效性掩码
用零填充缺失的基底或指维度,使缺失与命令零无法区分。模型可以从填充中学习数据集身份,或输出无支持的运动而无需明确的拒绝路径。
使用掩码和实现元数据,然后定义丢失和策略头如何处理无效字段。切勿直接向硬件发送未遮罩的通用向量。
保留数据集特定的归一化统计
均值、标准差、最小值或百分位数的尺度可以使不同数据集在数值上可比较,但全局统计可能使大型数据集主导并隐藏机器人特有的范围。统计数据在跨评估区间计算时也会泄露信息。
按特征、数据集、具体体和拆分统计版本。保持物理单元可恢复和去规范化后的审计饱和。
对齐控制率与动作视野
20 Hz 的 delta 和 100 Hz 的 delta 但数值相同,意味着物理速度不同。动作块进一步编码了一个视界,其持续时间取决于速率和执行策略。重采样必须保留时间,而不仅仅是样本计数。
使用 机器人动作分块指南 定义块执行和重新规划。记录采样周期、延迟以及控制器是否插值、保持或排队命令。
从跨身体数据集中学习,同时不抹去来源
Open X-Embodiment项目汇总了许多机器人和任务的数据,并为交叉身体训练提供了重要证据。其论文描述了一种共享动作空间方法,同时保留了数据集特定的变换。
Octo项目是另一个通用策略的例子。将报告的收益视为其数据集和评估中的证据,同时在你自己的组合中保持机器人、任务和来源的贡献可见。
在数组和硬件上进行往返测试
首先将原生动作映射到公共空间再映射回来,然后比较类型、方向、大小、帧和饱和度。接着在仿真或受限机器人中回放有界指令,验证测量到的动作、抓握器行为和时序。
检查每台机器人的分布和任务结果。当一台机器人持续偏航、过饱和或将夹爪向后关闭时,平均训练损失看起来可能很健康。
| 测试 | 输入 | 通过条件 | 失效暴露 |
|---|---|---|---|
| 结构 | 原生元数据 | 完整类型、单位、帧数、速率 | 模糊行动 |
| 数字往返 | 带符号基命令 | 有界重建误差 | 比例或轴误差 |
| 极限测试 | 近边界行动 | 显式饱和与掩膜 | 无声削波 |
| 时序测试 | 速率和块变体 | 等效物理时长 | 速度不匹配 |
| 硬件重放 | 安全有界序列 | 预期的物理运动 | 控制器语义错误 |
发布时附带归一化契约
记录本地模式、通用表示、帧转换、旋转数学、统计、掩码、控制器逆映射、速率、极限和版本测试。在许可和存储允许的情况下,保留原始动作与归一化数据。
通过以下清单进行验证。
评估“跨机器人本体的动作归一化”时,还应保存模型版本、机器人配置、标定文件、测试日期和全部试验记录。把成功、失败、恢复与人工介入放在同一份数据中,才能区分模型能力、系统接口和现场流程造成的差异。
- 标记动作类型、框架、单位和时间意义。
- 保留本地命令和可逆变换。
- 对缺失维度使用掩码,而不是用无法解释的零填充。
- 按数据集、机器人和数据划分对统计量进行版本控制。
- 验证符号保持的往返转换和受约束硬件执行。
常见问题
让每个动作都变成七维,完成归一化吗?
不会。框架、旋转、指令类型、时机、极限和握把的含义仍然可能不同。
联合作用和笛卡尔作用能否训练一个模型?
是的,有明确的变形或机器人专属的头部,但它们的语义和缺失信息必须保持可见。
统计数据是否应该对所有机器人进行一次计算?
并非自动。保留每个数据集和每个机器人的统计数据,避免评估泄漏或被大量来源占据主导地位。
未使用的维度能简单地等于零吗?
只有伴随有效性掩码和区分缺失与命令零的模型行为。
最快的可信检查是什么?
通过共和逆变换发送带符号基作用,然后安全验证物理方向、大小、时序和夹持器行为。
通用动作与机器人专用指令边界
只有当一个共同作用张量的物理意义保持可逆时才安全。通过每个数据集和机器人特有的逆映射,保留本地语义、效度和时间。