用 LeRobot 微調 SmolVLA:從資料準備到評估

可執行流程是:採集與目標機器人結構匹配的 LeRobot 資料,從 `lerobot/smolvla_base` 微調,儲存可復現檢查點,再在固定條件下進行實機評估。官方建議約 50 個任務 episode 作為起點,並非所有任務的最低門檻。

截至 2026 年 8 月 7 日,LeRobot 最新正式版本為 v0.6.1。`main`分支與已安裝版本的命令可能變化,應記錄實際版本。示例中的攝影機名稱、動作維度、串列埠和模型路徑都必須替換為自己的設定。

採集前先鎖定 v0.6.1 與機器人結構

LeRobot 官方釋出頁在檢查日將 v0.6.1 標為最新版本。建立獨立環境,用`pip install "lerobot[smolvla]==0.6.1"`固定安裝已核驗的依賴,並儲存 LeRobot、Python、PyTorch、CUDA、模型與資料修訂號。

SmolVLA 接收多路攝影機、目前感測和關節狀態、自然語言指令,並輸出動作塊。採集、訓練和部署的攝影機鍵名與順序、關節次序、單位、絕對或增量動作、控制頻率必須一致。LeRobot Dataset v3 格式指南可用於核對儲存結構。

鎖定專案儲存的資訊不一致的常見表現
LeRobotv0.6.1 與鎖定檔案CLI 選項或載入失敗
攝影機鍵名、順序、解析度、影格率視角缺失或交換
狀態關節順序、單位、正規化姿態方向錯誤
動作維度、絕對/增量、週期反向或過大移動
語言指令採集時的任務表達同一場景出現衝突動作

不要迷信 50 個 episode,要統計變化覆蓋

v0.6.1 SmolVLA 官方使用檔案建議約 50 個 episode 作為起點。參考資料把方塊位置分成 5 種,每種採集 10 次;作者稱類似的 25 次資料表現不佳。這是特定抓放任務的經驗,不是通用閾值。

自己的任務應按物體位置、種類、光照、背景、初始關節姿態和失敗恢復統計樣本。只錄成功展示,策略可能不會處理半抓取狀態。參數高效微調的通用選擇可參閱VLA LoRA 與適配器指南,本文只保留 SmolVLA 專用流程。

資料檢查具體方法失敗後處理
變化覆蓋按位置、物體、光照計數補採缺少組合
影片對齊同步顯示所有攝影機流修正鍵名與時間戳
動作範圍繪製各關節範圍和突變修正單位或增量轉換
指令一致按語意任務歸類展示刪除矛盾標籤
驗證劃分按物體或場景留出避免隨機影格洩漏

從 smolvla_base 訓練並儲存完整設定

Hugging Face SmolVLA 介紹釋出了 4.5 億參數模型和`lerobot/smolvla_base`。目前核心命令是`lerobot-train –policy.path=lerobot/smolvla_base –dataset.repo_id=HF_USER/MY_DATASET –batch_size=64 –steps=20000 –output_dir=outputs/train/my_smolvla –policy.device=cuda`,倉庫與目錄必須替換。

batch 64、20,000 步以及單張 A100 約 4 小時都是示例,不是保證。GPU 型號、影像、資料 I/O 和凍結設定都會改變時間。視訊記憶體不足可降低 batch,同時記錄吞吐、峰值視訊記憶體、訓練損失和驗證行為,並為每次實驗固定資料修訂。

安裝在展覽空間中的 Franka Emika 協作機械臂
這是 Franka Emika 機械臂的真實照片,並非 SmolVLA 或 LeRobot 微調環境、資料集或訓練結果的證據。 來源:Ims。授權:CC BY-SA 4.0

根據實機行為選檢查點,而不是只看 loss

按計劃間隔儲存檢查點,用相同初始姿態、物體範圍、時間限制和成功定義測試。驗證集應包含未訓練的位置、物體或背景。更低的訓練 loss 也可能伴隨抓取時機變差或對攝影機偏移更敏感。

按照機器人 VLA 評估指南記錄成功、部分成功、延遲、恢復、人工介入與安全停止。把沒辨識物體和已接近但過早閉合夾爪分為不同失敗,才能決定下一步補資料還是改控制。

首次實機 rollout 必須低速且可立即停止

官方檔案給出`lerobot-rollout`示例,參數包含機器人類型、埠、ID、攝影機字典、任務文字和微調後的`–policy.path`。所有硬體欄位都只是佔位符,要與訓練預處理的鍵名和採集時的任務語意保持一致。

清空工作區,限制速度、力矩與動作範圍,並準備經過測試的物理急停和現場監護。策略輸出應經過獨立命令限制器。SmolVLA 檢查點不是安全認證控制器,也不能替代碰撞保護。

以五個步驟整理用 LeRobot 微調 SmolVLA:從資料準備到評估的判讀重點
依正文與一手資料整理的繁體中文實務卡。來源:Physical AI Lab。

可部署成果必須包含版本和失敗記錄

LeRobot 官方倉庫持續修改訓練、資料和評估介面。將 v0.6.1、模型修訂、資料提交、解析後的設定、隨機種子、硬體和評估協議與檢查點一起歸檔。升級時在新環境重新迴歸測試。

最終選擇應依據目標任務的重複成功、留出條件下的下降、延遲、恢復和安全停止。50 個 episode 與 A100 時間只能幫助估算預算。資料結構一致、失敗可復現、保護層有效,微調結果才具備部署價值。

常見問題

微調 SmolVLA 必須正好 50 個 episode 嗎?

不需要。50 是官方檔案建議的起點,任務變化、展示質量、攝影機數量和機器人複雜度都會改變所需資料量。

訓練 20,000 步就可以結束嗎?

不能僅憑步數判斷。應在固定實機測試中比較檢查點,並同時檢視成功、延遲、恢復和安全停止。

smolvla_base 不微調能直接部署嗎?

官方檔案建議用自己的資料微調以適配具體環境。攝影機、狀態或動作結構不同的機器人不能直接連線。

已核驗的官方資料

2026-08-07