NVIDIA Isaac GR00T N1.7:架构、数据与机器人验证

NVIDIA Isaac GR00T N1.7 是一个开放的视觉-语言-动作模型及配套工作流程,用于通用机器人操作。官方仓库现将 N1.7 标为正式可用(GA);早期版本标签记录的是抢先体验阶段。仓库提供预训练权重、参考代码、微调、推理和评估路径。GA 状态仍不能替代特定机器人的部署验证。

基础检查点约有三十亿个参数。它结合了视觉语言骨干和扩散变换器动作头。图像、语言和机器人状态被转换为连续动作。模型支持多种机器人形态,但机器人必须使用正确的模态配置、动作表示和归一化。

GR00T应置于更广泛的 机器人基础模型 和 VLA 领域中理解。下载检查点是工程过程的开始,而非证明新机器人能安全或可靠地完成任务。

N1.7 已正式可用;抢先体验属于早期阶段

官方 Isaac-GR00T 仓库 现将 N1.7 标为正式可用(GA);早期 n1.7-release 标签记录的是抢先体验阶段。团队应为每个结果固定提交、检查点和依赖,因为文档和接口可能会变化。

N1.7 可用于研究、原型设计和比较。部署决策应考虑支持状态、许可、安全审查、模型更新和可重复性。在一个检查点上完成的基准测试不应被默默归因于每个后续或更早版本。

该架构结合视觉语言理解与连续动作生成

视觉语言骨干处理图像和指令,而机器人状态则提供具身上下文。扩散变换器迭代去噪连续动作输出。这种设计不同于以文本结尾的 VLM;输出必须映射到机器人的动作空间和时间。

架构图显示的是信息流,而非任务可靠性。性能取决于训练分布、摄像头视图、状态字段、动作定义、控制器、延迟和物理机器人。官方图应与数据和策略API文档一并阅读。

官方GR00T架构,采用视觉语言骨干和扩散动作头
GR00T 结合了视觉、语言和机器人状态输入,并配备了扩散 Transformer 动作头。来源:NVIDIA Isaac-GR00T。许可:Apache-2.0。

具身标签定义了数据接口

GR00T 使用机体形态标签来选择状态、动作和视频键的模态配置。标签规定拼接后的数组如何拆分与归一化。使用错误标签可能导致语法有效的推理,但命令语义上错误。

对于新机器人,请记录关节顺序、单位、工具坐标系、动作预测时域、夹持约定和相机。在训练前测试简单已知运动的转换。接口配置应与机器人描述及标定信息一同进行版本管理。

数据格式扩展了LeRobot的工作流程

该仓库描述了一个LeRobot v2风格的数据集,包含元数据、回合和任务记录、Parquet 状态-动作数据、视频以及GR00T专用模态文件。完整的回合在每个时间步对齐视觉观察、机器人状态、动作和语言。

机器人 动作数据指南 中的数据质量原则仍然适用。检查时间戳、校准、成功标签、故障覆盖率和操作员干预。转换文件无法修复动作与图像错位的演示。

数据集元素目的关键检查失效效应
视频视觉观察摄像机键与时机场景背景错误
机器人状态机器人配置顺序、单位与归一化机器人状态映射错误
行动目标动作或指令坐标系与动作预测时域不安全或无意义的输出
任务语言目标回合对齐指令不匹配
模态元数据字段解释标签与模式版本静默映射错误

基础推理和微调回答了不同的问题

零样本推理可用于测试预训练模型支持的机器人形态,并检查接口行为。新的任务、摄像机配置或机器人通常需要适应。微调通过演示和模态配置来专门化模型,同时保留预训练的表示。

尽可能按场景、物体和轨迹划分训练集、验证集和留出测试集。在训练集上调优,选择带有验证证据的检查点,并保留不会在每次迭代中重复使用的物理试验。否则团队可能会过度拟合小型演示集。

硬件需求在训练和推断方面有所不同

NVIDIA目前的 硬件建议 将微调与低延迟推断区分开来,并公布了测试过的平台频率。这些结果取决于模型设置、摄像机数量、去噪步骤和推理运行环境。

对端到端机器人延迟进行基准测试,而不仅仅是模型频率。包括摄像头捕获、预处理、网络或进程传输、策略推断、动作块处理和控制器执行。热量、内存和并发工作负载可能会改变持续性能。

阶段度量为什么重要接受证据
数据加载回合完整性与吞吐量防止训练数据损坏模式审计
微调损失值与验证任务指标选择适配后的检查点留出验证数据
推断端到端速率与抖动设置可用的控制时序生产硬件日志
模拟任务与失效覆盖筛除不安全策略可重复基准测试
硬件成功、干预与安全性测试实际部署受控机器人试验

评估必须从开环逐步过渡到硬件

开环评估将预测动作与记录的数据集进行比较,这对回归有用,但无法揭示误差累积。仿真增加了闭环响应,但仍存在仿真与真实环境的差距。真实硬件暴露传感器、接触、时序和安全约束。

试验前先定义任务、初始条件、物体集合和成功判据。报告首次尝试成功、重试、完成时间、干预和失败类别。将适应后的模型与更简单的基线及同一协议下的先前检查点进行比较。

Policy API 位于机器人控制器之上

策略输出不应绕过运动学、动力学和安全约束。部署适配器将动作块映射到目标,监控时序并处理过时或无效输出。低级控制器在关节、转矩、速度和工作区限制内跟踪命令。

边缘AI架构可以将推理保持在机器人附近,而远程模型训练和机器人机队分析则保持集中管理。决定机器人在策略推断错过截止日期、摄像头失效或网络辅助消失时的行动。

模型改进应被谨慎归因

新版本可能会改变骨干、训练数据、代码、检查点和推理运行环境。观察到的收益也可能来自更好的数据转换、增强或控制器调优。保持一个实验矩阵,一次改变一个主要因素。

使用仓库中陈述的基准和限制作为上下文,然后在目标机器人形态上复现。可比的汇总结果无法证明在不同相机、握持器、动作框架或环境中的行为一致。

审慎的采用计划降低风险

从官方演示数据和支持的环境开始验证安装情况。转换一个小型机器人数据集,检查每种模态。微调基线,评估开环,运行模拟,然后使用受限的物理工作空间和紧急程序。

保留检查点、代码提交、配置、数据集和机器人校准。只有在故障处理稳定后才扩展任务多样性。不要把 GA 状态当作生产验证;在接入关键生产系统前,仍须确认所需支持并完成验证。

评估“NVIDIA Isaac GR00T N1.7:架构、数据与机器人验证”时,还应保存模型版本、机器人配置、标定文件、测试日期和全部试验记录。把成功、失败、恢复与人工介入放在同一份数据中,才能区分模型能力、系统接口和现场流程造成的差异。

  • 固定仓库提交和检查点。
  • 审计具身标签和模态模式。
  • 训练前验证同步演示数据。
  • 测量目标硬件上的端到端推断。
  • 从开环到模拟和受保护机器人试验的进展。

常见问题

什么是GR00T N1.7?

它是 NVIDIA 已正式可用(GA)的开放视觉-语言-动作模型及参考工作流程,面向多种机器人形态的操作任务。

GR00T N1.7 是否已准备好量产?

官方仓库现将 N1.7 标为正式可用(GA)。生产环境使用仍需要独立验证和风险评估。

GR00T 能以零样本方式控制任何机器人吗?

不。预训练模型只支持特定机器人形态,新机器人通常需要正确的模态配置、数据转换和适应。硬件约束和安全仍是外部的。

GR00T使用哪些数据?

该工作流程使用语言任务、视频、机器人状态和动作,组织成完整的回合,并配有解释每种机器人形态的模态元数据。

GR00T应如何评估?

先使用模式检查和开环回归,然后进行闭环仿真和受控硬件试验,涵盖任务成功、时序、干预和失败类别。

发行与型号说明

GR00T N1.7 现已标为正式可用(GA)。在复现结果或规划部署前,请核实当前的官方仓库、检查点的使用条款、硬件指南和支持状态。