NVIDIA Isaac GR00T N1.7:架構、資料與機器人驗證

NVIDIA Isaac GR00T N1.7 是一個開放的視覺-語言-動作模型及配套工作流程,用於通用機器人操作。官方倉庫現將 N1.7 標為正式可用(GA);早期版本標籤記錄的是搶先體驗階段。倉庫提供預訓練權重、參考程式碼、微調、推論和評估路徑。GA 狀態仍不能取代特定機器人的部署驗證。

基礎檢查點約有三十億個參數。它結合了視覺語言骨幹和擴散變換器動作頭。影像、語言和機器人狀態被轉換為連續動作。模型支援多種機器人形態,但機器人必須使用正確的模態設定、動作表示和正規化。

GR00T 應置於更廣泛的 機器人基礎模型 和 VLA 領域中理解。下載檢查點是工程過程的開始,而非證明新機器人能安全或可靠地完成任務。

N1.7 已正式可用;搶先體驗屬於早期階段

官方 Isaac-GR00T 倉庫 現將 N1.7 標為正式可用(GA);早期 n1.7-release 標籤記錄的是搶先體驗階段。團隊應為每個結果固定提交、檢查點和依賴,因為檔案和介面可能會變化。

N1.7 可用於研究、原型設計和比較。部署決策應考慮支援狀態、許可、安全審查、模型更新和可重複性。在一個檢查點上完成的基準測試不應被默默歸因於每個後續或更早版本。

該架構結合視覺語言理解與連續動作生成

視覺語言骨幹處理影像和指令,而機器人狀態則提供具身上下文。擴散變換器迭代去噪連續動作輸出。這種設計不同於以文字結尾的 VLM;輸出必須對映到機器人的動作空間和時間。

架構圖顯示的是資訊流,而非任務可靠性。效能取決於訓練分佈、攝影機檢視、狀態欄位、動作定義、控制器、延遲和物理機器人。官方圖應與資料和策略 API 檔案一併閱讀。

官方 GR00T 架構,採用視覺語言骨幹和擴散動作頭
GR00T 結合了視覺、語言和機器人狀態輸入,並配備了擴散 Transformer 動作頭。來源:NVIDIA Isaac-GR00T。許可:Apache-2.0。

具身標籤定義了資料介面

GR00T 使用機體形態標籤來選擇狀態、動作和影片鍵的模態設定。標籤規定串接後的陣列如何拆分與正規化。使用錯誤標籤可能導致語法有效的推論,但命令語意上錯誤。

對於新機器人,請記錄關節順序、單位、工具座標系、動作預測時域、夾持約定和相機。在訓練前測試簡單已知運動的轉換。介面設定應與機器人描述及校正資訊一同進行版本管理。

資料格式擴充了 LeRobot 的工作流程

該倉庫描述了一個 LeRobot v2 風格的資料集,包含中繼資料、回合和任務記錄、Parquet 狀態-動作資料、影片以及 GR00T 專用模態檔案。完整的回合在每個時間步對齊視覺觀察、機器人狀態、動作和語言。

機器人 動作資料指南 中的資料品質原則仍然適用。檢查時間戳、校正、成功標籤、故障覆蓋率和操作員介入。轉換檔案無法修復動作與影像錯位的展示。

資料集元素目的關鍵檢查失效效應
影片視覺觀察攝影機鍵與時機場景背景錯誤
機器人狀態機器人設定順序、單位與正規化機器人狀態對映錯誤
行動目標動作或指令座標系與動作預測時域不安全或無意義的輸出
任務語言目標回合對齊指令不匹配
模態後設資料欄位解讀標籤與模式版本靜默對映錯誤

基礎推論和微調回答了不同的問題

零樣本推論可用於測試預訓練模型支援的機器人形態,並檢查介面行為。新的任務、攝影機設定或機器人通常需要適應。微調透過展示和模態設定來專門化模型,同時保留預訓練的表示。

儘可能按場景、物體和軌跡劃分訓練集、驗證集與留出測試集。在訓練集上調校,選擇帶有驗證證據的檢查點,並保留不會在每次迭代中重複使用的物理試驗。否則團隊可能會過度擬合小型展示集。

硬體需求在訓練和推斷方面有所不同

NVIDIA 目前的 硬體建議 將微調與低延遲推斷區分開來,並公布了測試過的平台頻率。這些結果取決於模型設定、攝影機數量、去噪步驟和推論執行環境。

對端對端機器人延遲進行基準測試,而不僅僅是模型頻率。包括攝影機捕獲、預處理、網路或行程間傳輸、策略推斷、動作塊處理和控制器執行。熱量、記憶體和併發工作負載可能會改變持續效能。

階段度量為什麼重要接受證據
資料載入回合完整性與吞吐量防止訓練資料損壞模式審計
微調損失值與驗證任務指標選擇適配後的檢查點留出驗證資料
推斷端對端速率與抖動設定可用的控制時序生產硬體紀錄
模擬任務與失效覆蓋篩除不安全策略可重複基準測試
硬體成功、介入與安全性測試實際部署受控機器人試驗

評估應依序從開環進展至模擬與硬體試驗

開環評估將預測動作與記錄的資料集進行比較,這對迴歸有用,但無法揭示誤差累積。模擬增加了閉環反應,但仍存在模擬與真實環境的差距。真實硬體暴露感測器、接觸、時序和安全約束。

試驗前先定義任務、初始條件、物體集合與成功判準。報告首次嘗試成功、重試、完成時間、介入和失敗類別。將適應後的模型與更簡單的基線及同一協議下的先前檢查點進行比較。

Policy API 位於機器人控制器之上

策略輸出不應繞過運動學、動力學和安全約束。部署適配器將動作塊對映到目標,監控時序並處理過時或無效輸出。低階控制器在關節、轉矩、速度和工作區限制內跟蹤命令。

邊緣 AI 架構可以將推論保持在機器人附近,而遠端模型訓練和機器人機隊分析則保持集中管理。決定機器人在策略推斷錯過截止日期、攝影機失效或網路輔助消失時的行動。

模型改進應被謹慎歸因

新版本可能會改變骨幹、訓練資料、程式碼、檢查點和推論執行環境。觀察到的收益也可能來自更好的資料轉換、增強或控制器調優。保持一個實驗矩陣,一次改變一個主要因素。

使用倉庫中陳述的基準和限制作為上下文,然後在目標機器人形態上重現。可比的彙總結果無法證明在不同相機、握持器、動作框架或環境中的行為一致。

審慎的採用計劃降低風險

從官方展示資料和支援的環境開始驗證安裝情況。轉換一個小型機器人資料集,檢查每種模態。微調基線,評估開環,執行模擬,然後使用受限的物理工作空間和緊急應變程序。

保留檢查點、程式碼提交、設定、資料集和機器人校正。只有在故障處理穩定後才擴充任務多樣性。不要把 GA 狀態當成生產驗證;接入關鍵生產系統前,仍須確認所需支援並完成驗證。

評估“NVIDIA Isaac GR00T N1.7:架構、資料與機器人驗證”時,還應儲存模型版本、機器人設定、校正檔案、測試日期和全部試驗記錄。

  • 固定倉庫提交和檢查點。
  • 審計具身標籤和模態模式。
  • 訓練前驗證同步展示資料。
  • 測量目標硬體上的端對端推斷。
  • 依序進行開環、模擬和受保護的機器人試驗。

常見問題

什麼是 GR00T N1.7?

它是 NVIDIA 已正式可用(GA)的開放視覺-語言-動作模型及參考工作流程,面向多種機器人形態的操作任務。

GR00T N1.7 是否已準備好量產?

官方倉庫現將 N1.7 標為正式可用(GA)。生產環境使用仍需要獨立驗證和風險評估。

GR00T 能以零樣本方式控制任何機器人嗎?

不。預訓練模型只支援特定機器人形態,新機器人通常需要正確的模態設定、資料轉換和適應。硬體約束和安全仍是外部的。

GR00T 使用哪些資料?

該工作流程使用語言任務、影片、機器人狀態和動作,組織成完整的回合,並配有解釋每種機器人形態的模態中繼資料。

GR00T 應如何評估?

先使用模式檢查和開環迴歸,然後進行閉環模擬和受控硬體試驗,涵蓋任務成功、時序、介入和失敗類別。

發行與型號說明

GR00T N1.7 現已標為正式可用(GA)。在復現結果或規劃部署前,請確認目前的官方倉庫、檢查點的使用條款、硬體指南和支援狀態。