機器人評估資料洩漏與資料切分

資料洩漏不只是把測試答案放進訓練集。本應保留作為測試的樣本、近似重複樣本或資料蒐集條件被用於訓練與模型選擇，也可能讓結果顯得過度樂觀。在機器人資料中，相鄰影格、同一次任務回合、同一物體和同一個資料蒐集工作階段，特別容易被誤當成獨立樣本。

正確的資料切分單位取決於部署時要驗證的泛化目標。只需處理同一會話中新影格的模型，與需要面對新物件、新操作員、新站點或新機器人本體的模型，測試方法不同。隨機切分影格通常無法支撐這些更廣泛的泛化結論。

本指南可與 機器人評估指南及資料集譜系指南搭配使用。確定評估方案後，凍結測試樣本清單和存取權限。

先明確要驗證哪一種泛化，再決定切分比例

說明模型是否必須處理新時間段、新回合、新物件實例、類別、操作員、站點、機器人或任務。留出組應與該宣告一致；普遍的 80/10/10 比例並不意味著獨立性。

當部署提出多個問題時，建立多個測試。一個方便的測試集無法隔離所有泛化軸。

按最小獨立採集單位切分資料

同一回合中的影格共享背景、物件狀態、操作員和相鄰時間資訊。同一個資料蒐集工作階段還可能共享光照、校正、工具狀態和指令碼設定。若這些關聯會影響要驗證的泛化能力，就應將整組樣本放在同一個資料分割中。

使用不可變的組 ID，並在流水線中強制執行不相交性。避免以後從可能被重新命名的檔名重建組。

泛化目標	最小留出組	洩漏示例	應報告的測試
新時間段	時間區段	相鄰影格	未來時間段
新回合	完整回合	同一滾動視窗	留出回合
新物件	物理實例	同一物件的不同視角	留出實例
新操作員	操作員或採集團隊	遙操作習慣	留出操作員
新站點	設施與設定	背景與固定裝置	留出站點

將會話上下文視為可學習資料

模型可以利用固定的相機位姿、光照、桌面標記、夾具磨損、初始化程式和軟體時序。在同一套未變更的設定下，即使於不同日期蒐集資料，仍可能共享大多數捷徑。

審計會話身份訊號的後設資料和影像。當泛化目標要求新環境時，應將整個站點或流程作為留出組。

保持物理物件例項在一起

同一物體的不同影像、方向和試驗並不是新例項泛化的獨立證據。劃痕、紋理和幾何形狀可以辨識例項。

對於姿態或抓取評估，將裁剪影像和標註關聯到不可變的物件 ID。 6D 物件-姿態指南 解釋了實例目標和類別目標的不同原因。

驗證跨操作員泛化時，依操作員分組

操作員會留下特有的軌跡、復原習慣、相機取景方式和語言指令。隨機切分可能讓同一人同時出現在訓練集和測試集中，因而誇大模型對新操作員的泛化表現。

使用操作員分組測試並報告經驗水平。使用受控辨識符號保護隱私，而非刪除審計所需的分組資訊。

追蹤資料增強與同源衍生樣本

裁剪、調整大小、重新編碼或色彩增強雖然會產生不同的檔案雜湊，但仍是來自同一原始影格的同源樣本。應先切分原始樣本，再於各資料分割內產生增強資料，並保留它們與原始影格的關係。

利用感知相似性尋找缺失的關係，然後用清單確認。近重複偵測只能補充、不能取代來源譜系記錄。

僅對訓練資料進行擬合預處理

正規化統計、詞彙、分詞器適應、類權重、特徵選擇和補值在全域計算時可能洩露測試資訊。將每個學習到的預處理產物視為訓練的一部分。

記錄生成該產物時所用的訓練集成員版本。對驗證集和測試集套用已凍結的變換，不再重新擬合。

控制驗證集和測試集的查看次數

反覆從驗證效能中選擇模型和超參數，使開發適應該集合。檢視測試結果後修訂系統，將測試轉化為另一個驗證源。

保持最終凍結測試，限制存取並記錄評估次數。在反覆迭代後，使用新的前瞻性或外部資料進行重大決策。

審計與後設資料和內容的重疊

先檢查樣本 ID、原始回合、工作階段、物體、操作員、站點、機器人和任務是否存在不允許的跨分割重疊，再利用影像、時間和軌跡相似性找出標記錯誤或複製而來的同源樣本。相似性只能提示需要複核，不能單獨證明兩個樣本相同。

DROID 資料集專案展示了跨站點和操作員的大規模真實環境採集。資料集的規模和多樣性並不能消除對特定泛化目標所需的分組切分的需求。

報告組計數與不確定性

影格數可能很多，但獨立的物體或站點很少。應報告獨立組的數量、各組的成功與失敗、排除的試驗，以及與分組方式相符的不確定性估計。

單一站點或操作員的高平均值不能證明廣泛的泛化能力。應依條件分開報告結果，說明哪些組的表現較差，而不是只提供總體平均值。

凍結測試清單並進行版本管理

保存固定的樣本清單、分組規則、預處理版本、評估程式碼和存取記錄。新加入的資料不應自動重新平衡或取代既有測試樣本。

當部署宣告發生變化時，建立新版本並保持與舊版本的可比性。將其連線到 資料質量審計，以處理缺失的後設資料和標籤審查。

洩漏審計	方法	通過條件	殘餘風險
標識	與精確清單關聯	來源 ID 不跨資料分區	標識缺失
分組	回合、會話、物件、操作員、站點	不存在禁止的組別重疊	分組規則錯誤
衍生資料	父級譜系	同源樣本保持在同一分區	父級關係遺失
相似性	視覺與軌跡搜尋	近重複樣本已複核	誤匹配
存取	評估紀錄	查看次數符合協議限制	存在未記錄的副本

發布前使用資料切分驗收清單

記錄部署宣告、組級結構、成員清單、衍生資料血緣、僅基於訓練集擬合的預處理、重疊審計、樣本計數、不確定性、存取和重新整理策略。確保測試集不會被常規訓練任務使用。

發布前，逐項核對以下清單。

• 根據部署時的泛化目標選擇留出組。
• 將彼此相依的回合和工作階段放在同一個資料分割中。
• 追蹤物體、操作員、站點與同源衍生樣本。
• 所有從資料中學得的預處理元件，都只能在訓練集上擬合。
• 凍結測試集樣本、存取權限和評估次數。

常見問題

機器人資料應採用什麼訓練集—驗證集—測試集比例？

應先確保分組獨立性和足夠的評估能力；沒有固定的比率能解決洩漏問題。

不同的採集日是新的測試環境嗎？

如果場地、物體、校正、操作員和操作流程仍然共享，則不一定如此。

唯一檔案雜湊值能證明沒有重複嗎？

不是。裁剪、重新編碼和資料增強在共享同一來源時有新的雜湊值。

為什麼測試效能的調優會洩漏？

開發過程會學習哪些選擇在測試中表現良好，因此測試結果不再代表未經反覆調參觸碰的泛化效能。

一個測試集能測量所有類型的泛化嗎？

不。根據需要，對新回合、物件、操作員、站點、機器人或任務使用分組測試。

由部署目標定義的獨立測試與凍結存取邊界

資料切分是否合理，取決於它能否獨立檢驗部署時的泛化目標，而不是隨機比例是否整齊。在模型選擇開始前，應凍結分組成員、衍生資料譜系和測試資料的存取權限。