機器人評估洩漏發生在訓練或模型選擇中從預期測試分佈中獲得資訊時。常見的失敗不是輸入中可見的答案標籤；而是跨集、會話、物件、操作員、站點或衍生介質的共享集合上下文。
正確的拆分單元應遵循部署宣告。針對同一會話中新影格的模型需要與針對新物件、操作員、站點或實現的測試不同。隨機影格拆分很少支援更廣泛的主張。
本指南應與 機器人評估指南 及 資料集譜係指南一起使用。協議獲批後，凍結測試成員資格和存取權限。
在比率之前寫下泛化主張
說明模型是否必須處理新時間、事件、物件例項、類別、操作員、站點、機器人或任務。保留組遵循該宣告；普遍的 80/10/10 比例並不意味著獨立性。
當部署提出多個問題時，建立多個測試。一個方便的測試集無法隔離所有泛化軸。
.jpg){kind=link}
在最低的獨立收集單位分開
一個片段中的影格共享背景、物件狀態、運算子和時間鄰居。會話中的影格可能共享光照、校正、工具磨損和指令碼設定。保持依賴組在一起。
使用不可變的組 ID，並在流水線中強制執行不相交性。避免以後從可能被重新命名的檔名重建組。
| 主張 | 最低抵抗群體 | 洩漏示例 | 報告測試 |
|---|---|---|---|
| 新時刻 | 時間阻塞 | 相鄰框架 | 未來環節 |
| 新一集 | 回合 | 同樣的滾動視窗 | 回合未播出 |
| 新物件 | 物理例項 | 同一物體的不同視角 | 例項抗拒 |
| 新操作員 | 操作員或收集團隊 | 遙操作習慣 | 營運商的堅持 |
| 新址 | 設施與設定 | 背景與比賽 | 場地堅持 |
將會話上下文視為可學習資料
模型可以利用固定的相機姿勢、照明、桌面標記、燈具磨損、初始化程式和軟體時序。在同一未變的設定下，在不同日期採集仍可能共享大多數捷徑。
審計會話身份訊號的後設資料和影像。保留整個站點或流程，當主張需要新環境時。
保持物理物件例項在一起
同一物體的不同影像、方向和試驗並不是新例項泛化的獨立證據。劃痕、紋理和幾何形狀可以辨識例項。
對於姿態或抓取評估，將作物和註釋連結到不可變物件 ID。 6D 物件-姿態指南 解釋了例專案標和類別目標的不同原因。
保持操作員和指令風格
操作員會建立特徵軌跡、恢復習慣、攝影機構圖和語言指令。隨機分發可以讓同一人進入訓練和測試，從而推高表面上的人類泛化表現。
使用操作員分組測試並報告經驗水平。使用受控辨識符號保護隱私，而非刪除審計所需的分組資訊。
追蹤增補和衍生兄弟姐妹
裁剪、調整大小、重新編碼或色彩增強雖然檔案雜湊不同，但仍是同一源影格的兄弟影格。在生成衍生影格前，保持源譜系和拆分。
利用感知相似性尋找缺失的關係，然後用清單確認。近似重複的探測器是補充而非替代來源。
僅對訓練資料進行擬合預處理
正規化統計、詞彙、分詞器適應、類權重、特徵選擇和補值在全域計算時可能洩露測試資訊。將每個學習到的預處理工件視為訓練的一部分。
培訓會員使用的版本。對驗證和測試應用凍結變換，無需重新調整。
對照驗證與測試諮詢
反覆從驗證效能中選擇模型和超參數，使開發適應該集合。檢視測試結果後修訂系統，將測試轉化為另一個驗證源。
保持最終凍結測試，限制存取並記錄評估次數。在反覆迭代後，使用新的前瞻性或外部資料進行重大決策。
審計與後設資料和內容的重疊
檢查精確的 ID、父事件、會話、物件、操作員、站點、機器人和任務的交叉點。然後利用視覺、時間和軌跡相似性來發現錯誤標記或複製的兄弟姐妹。
DROID 資料集專案展示了跨站點和營運商的大規模野外採集。資料集的規模和多樣性並不能消除對特定權利要求分組的需求。
報告組計數與不確定性
影格數可能很大，而獨立的物體或站點較少。報告分組樣本、組別成功與失敗、置信區間及排除試驗。
單一站點或操作員的高平均值並不能建立廣泛的泛化。展示條件層次的結果和較低尾部行為。
凍結併發布測試清單
儲存不可變的成員身份、分組規則、預處理身份、評估程式碼和存取歷史。新入資料不應自動重新平衡或替換歷史測試樣本。
當部署宣告發生變化時，建立新版本並保持與舊版本的可比性。將其連線到 資料質量審計，以處理缺失的後設資料和標籤審查。
| 洩漏審計 | 方法 | 透過條件 | 殘餘風險 |
|---|---|---|---|
| 身份 | 精確顯現連線 | 沒有交叉分割的源 ID | 缺失身份證 |
| 分組 | 回合、會話、物件、操作員、場地 | 禁止群體重疊 | 錯誤的分組規則 |
| 衍生品 | 母系譜系 | 兄弟姐妹依然在一起 | 失去的父母 |
| 相似性 | 視覺與軌跡搜尋 | 評測近似複製品 | 虛假匹配 |
| 交通 | 評估紀錄 | 協議限制諮詢 | 未登記副本 |
發行時採用分割接受清單
記錄部署宣告、組級結構、成員清單、衍生資料血緣、僅基於訓練集擬合的預處理、重疊審計、樣本計數、不確定性、存取和重新整理策略。保持測試不可用於常規培訓任務。
透過以下清單進行驗證。
評估“機器人評估資料洩漏與資料劃分”時，還應儲存模型版本、機器人設定、校正檔案、測試日期和全部試驗記錄。
只有把這些持續投入與單位成功任務的價值比較，才能判斷方案是否適合擴大。
上線後仍要持續檢查分佈變化、感測器漂移、機械磨損和人工接管原因。
實際專案還應指定資料、模型、控制器和安全流程的負責人，並預先定義回復條件。責任邊界、審批記錄與變更紀錄越清楚，故障發生後越容易停止擴散、定位原因並安全恢復。
把任務拆成感知、決策、動作執行和結果確認，可以更準確地定位瓶頸。每一階段都應有獨立指標與失敗示例，避免用端對端成功率掩蓋偶發但嚴重的風險。
引用的產品規格、論文結果和監管要求需要記錄釋出日期與適用版本。資料更新後應重新核對關鍵結論；無法從一手來源確認的內容，應明確標註為待驗證資訊。
小規模試點的價值在於提前暴露介面、人員協作和異常處理問題。試點結束後應依據預設門檻決定擴大、修改或停止，而不是因為已經投入資源就預設繼續。
所有結論都應能夠追溯到原始記錄，並可複核。
介面定義變化時，舊資料和舊控制參數不能在未經驗證的情況下直接複用。
異常測試應覆蓋斷電、通訊丟失、感測器失真、物件滑移和人員進入工作區等情形。系統不僅要發現異常，還應以可預測的方式減速、停止或請求人工確認。
維護計劃需要把檢查週期、易損件、備件、校正和軟體更新納入同一套記錄。若維護成本或停機時間持續上升，應重新評估系統設計，而不是隻提高操作人員負擔。
報告平均值之外，還應公開最差結果、分佈尾部和失敗影片或紀錄索引。對安全關鍵任務而言，少數嚴重失敗往往比平均效能更能決定是否可以部署。
當證據不足時，最專業的結論是縮小適用範圍並說明還缺什麼資料。明確的不確定性不會削弱文章，反而能防止讀者把研究結果誤解為已驗證的產品能力。
- 從部署申訴中選擇“保留”群體。
- 將依賴的回合和會話放在一個分割槽裡。
- 追蹤物件、運算子、站點和派生兄弟姐妹。
- 所有從資料中學習得到的預處理元件，都只能在訓練集上擬合。
- 凍結會員、存取權限和評估計數。
常見問題
機器人資料應採用何種列車-驗證-測試比例？
首先選擇群獨立性和足夠的評估能力；沒有固定的比率能解決洩漏問題。
不同的採集日是新的測試環境嗎？
如果場地、物體、校正、操作員和操作流程仍然共享，則不一定如此。
唯一檔案雜湊值能證明沒有重複嗎？
不是。作物、重編碼和增強在共享同一來源時有新的雜湊值。
為什麼測試效能的調優會洩漏？
開發過程會學習哪些選擇在測試中表現良好，因此不再估計未被改變的泛化。
一個測試集能測量所有類型的推廣嗎？
不。根據需要，對新回合、物件、操作員、站點、機器人或任務使用分組測試。
部署無關測試與凍結存取邊界
評估獨立性由部署宣告定義，而非隨機百分比。在模型選擇開始前，凍結分組成員、派生譜系和測試存取。