机器人数据集版本与数据谱系

机器人数据集版本控制为数据状态赋予不可变身份,并记录原始回合如何成为标签、转换文件、数据划分、统计和训练输入。数据谱系通过代码、环境、模型工件、评估和部署将这一链条延伸。

仅靠日期和文件夹名称是不够的。机器人数据依赖于工具、校准、固件、控制器、现场和操作员的环境,修正后的标签会影响许多模型。系统必须支持复制、冲击分析和兼容的回滚。

结合数据 质量审计 和 LeRobotDataset v3指南,使用本指南。保持原始捕获不变,并作为新的派生版本创建修正。

使用不可变的内容身份

为原始文件、清单和派生数据集分配哈希或不可变对象标识符。友好的语义版本可以描述意图,而内容身份则证明使用了哪些字节和记录。

编辑标签或替换相机文件后,不要重复使用标识符。创建一个新版本,引用父文件及其更改原因。

生产机械臂在生产设备内运行
机器人节目依赖工具、校准、固件、软件和工作单元状态,以及图像和动作;照片中不展示谱系工具。来源:Lexington Medical, Inc.,维基共享资源。许可:CC0 1.0。

原始捕获只保留附加

原始传感器和指令数据是证据。当时间戳、标签或校准关联错误时,保留原始源,并创建校正层或新的派生伪影。

根据权利和隐私要求控制访问和保存。不可篡改性并不意味着每个人都能读取敏感的原始数据。

谱系对象不可变的恒等式必需父项变更产生
原始回合捕获校验和设备与会话新一轮捕获
标签集标注清单哈希回合与分类体系新标签版本
变换输出工件与代码哈希输入、代码、参数新衍生版本
数据划分成员清单哈希数据集版本新划分版本
模型工件哈希数据、代码、配置、环境新模型版本

建立完整的回合清单

清单应命名事件、传感器、动作、时间戳、任务、结果、机器人、工具、校准、固件、软件、操作员或收集模式、权利和质量状态。存储校验和和位置时,不将存储路径作为身份。

自动验证引用完整性和必需字段。保持未知值显式,这样下游过滤器不会将缺失的元数据视为有效默认值。

包含物理配置沿袭

机器人数据语义会随着工具中心点、关节零点、夹持指、摄像头外部元件、有效载荷和控制固件而变化。将这些版本关联到每个会话,并将会话中的变化记录为新段。

软件提交无法重建磨损的杯子、移动的摄像头或更换末端执行器。应保留维护和校准证据,同时保留数字配置。

将变换表示为有向图

每个转换记录输入身份、代码修订、依赖环境、参数、运行时和输出身份。示例包括同步、过滤、图像调整、动作归一化、注释合并和格式迁移。

有向无环图使扇入和扇出变得可见:一个模型可以使用多个数据集,而一个修正后的事件则可能影响多个混合和释放。

五阶段机器人数据集谱系验证
Lineage只有在从存储的证据中进行复制、影响分析和回滚时才能成功。来源:Physical AI Lab。

验证模式迁移和语义保持

迁移可以成功写入新文件,同时更改联合顺序、单元、集数边界或缺失值含义。在接受派生版本前,先运行模式检查并重放代表性集数。

当变形映射机器人特定动作时 ,使用跨身体动作指南。保留可逆测试和迁移报告。

对训练、验证和测试集成员资格进行版本控制

分割是一种一级产物,包含成员规则和不可变的ID。新数据不应默然重排历史测试集或将衍生的兄弟节点跨分区移动。

每次运行都链接到一个精确的分割版本。如果评估声明从新集数变为新站点或机器人,请创建新的分割,而不是重新命名旧结果。

将统计数据和词汇绑定到数据集

归一化统计、令牌词汇、任务映射和类权重均来自特定数据集和拆分版本。过滤或单位变更后重复使用陈旧统计数据可能会破坏训练,而文件仍在加载。

记录计算代码和成员身份。仅将学习预处理拟合于训练数据,并将其身份与模型发布。

链接训练运行与环境

捕获数据并拆分身份、混合配置、代码提交、容器或依赖锁、硬件、种子、模型配置、检查点选择和指标。当前 MLflow数据集跟踪文档 仅为工具参考,而非完整的机器人专用血统设计。

运行跟踪系统只有在输入正确且不可变时才有用。确认记录的数据集名称是否解析为精确的清单,而非可变的别名。

发布具有持久修订记录的数据集

Hugging Face数据集上传文档解释了当前Hub发布的工作流程。仓库提交可以提供有用的修订身份,而数据集卡片、许可证和外部工件哈希仍需维护。

DVC或对象存储清单可以管理大型伪影。除非工作流提供校准、权限、标签意向或物理配置,否则没有工具能自动捕捉这些信息。

演练影响分析与回滚

选择已更正或撤回的节目,找到所有消耗该集的衍生数据集、统计数据、运行、模型和部署。然后选择已部署的模型,重建其来源和评估包。

回滚必须恢复兼容的模型、预处理、模式、动作适配器和配置。仅仅恢复一个检查点以对应变动的统计数据,并不构成有效的回滚。

谱系测试起点预期追溯路径发现故障
重现模型发布精确运行及工件可变别名
源痕迹训练批次原始回合及转换缺失父项
影响更正的回合所有受影响模型孤立消费者
权利撤回的来源已发布衍生物未跟踪副本
回滚部署兼容的完整包数据模式不匹配

发布时附带谱系验收清单

文档标识符规则、保留、清单模式、转换图、分割治理、运行跟踪、访问控制、权限和回滚过程。定期测试图,而不是信任链接的存在。

通过以下清单进行验证。

评估“机器人数据集版本与数据谱系”时,还应保存模型版本、机器人配置、标定文件、测试日期和全部试验记录。把成功、失败、恢复与人工介入放在同一份数据中,才能区分模型能力、系统接口和现场流程造成的差异。

  • 保持原始证据不可篡改,修正版本管理。
  • 将物理配置和校准与会话关联。
  • 版本转换、拆分、统计和词汇。
  • 将每个模型绑定到精确的数据和环境工件。
  • 测试重现、双向影响分析和回滚。

常见问题

带有日期戳的数据集文件夹是否足够用于版本管理?

不。日期不能证明内容身份、父版本、转换代码或数据划分归属。

错误的原始标签是否应该被编辑?

保留原始证据,并创建新的更正标签或带有来源的衍生数据集版本。

检查点中的数据集名称够用吗?

不。存储不可变的清单、分割、混合、统计、代码和环境身份。

Hugging Face、DVC 或 MLflow 会自动完成数据谱系吗?

不。它们提供了有用的原语,但机器人元数据、校准、权利和语义转换必须被有意捕获。

数据谱系应如何检验?

将模型追溯到原始回合、受影响部署的源代码变更以及通过完全兼容的回滚发布。

不可变源边界与可重现模型边界

血统是操作证据,而非命名规范。发布必须可从不可变源重现,并且可作为兼容的数据-模型-系统捆绑包可逆。