MIT DAAAM 機器人長期記憶:用 3D 地圖與語言尋找物品

試辦中,機器人能回答『鑰匙上週在桌上』,看似已具長期記憶;一旦鑰匙被移動、相機漏拍或文字描述互相矛盾,這個答案可能無法支援真實找回。從一次展示到持續部署,差別在更新、遺忘、證據和刪除。

安裝在車頂的攝影機與光達感測器陣列
這是真實的攝影機與光達感測器組合,並非 MIT DAAAM 機器人或其 3D 記憶地圖;不能證明長期記憶、查詢準確率或地圖更新能力。 圖片來源: Wikimedia Commons · 授權條款: CC BY 4.0 · 署名: 9yz

MIT News描述 DAAAM 以 4D 記憶和工具呼叫回答位置、時間與事件問題;回答仍需回到原始觀察驗證,不能把語言輸出當成物件目前存在的保證。

長期記憶試辦為何常停在展示

受控路線、離線索引和固定物件無法代表每天變動的空間。

目前流程是感測室內環境、建立 3D 地圖、附上時間與 VLM 文字描述,再在查詢時選工具搜尋。試辦常在受控路線和離線處理下運作,本部署則每天累積資料、家具和人員變動。

DAAAM 論文把物件、空間、時間和事件放進階層式 4D 場景圖;這不是像人類一樣記住所有事情,也不會自動分辨物件被移動、遮住或拿走。

試辦基準可從一週真實環境建立:每天記錄空間掃描時間、物件移動、查詢、正確、未知、人工修正與重新索引。展示前已知答案的問題不夠,還要讓未參與收集的人提出自然問題,觀察系統是否找到正確工具和證據。

先自動化可回到原始觀察的查詢

答案要附位置、時間、影像與信心。

適合自動化的是可追溯的查詢:最後看到某物在哪裡、哪個房間曾出現事件、哪段時間可能相關。系統應回傳時間、位置、原始影像和信心,而不是只給自然語言答案。

可搭配 長期任務記憶與復原分開『知道過去在哪』和『現在如何安全去取』。後者仍需最新感知與路徑。

自動化候選應按風險分層。找最後看見的清潔用品可以只回傳線索;尋找藥物、危險工具或人員則需最新確認,不能用舊記憶直接觸發抓取。將答案分成建議、需確認與禁止自動行動,讓同一記憶系統支援不同責任。

物件移動與矛盾描述進入例外流程

未知和請人確認,是必要結果而不是失敗。

例外流程包括同名物件、外觀改變、被人搬走、空間重新布置、相機漏拍與描述矛盾。代理若找不到足夠證據,應回覆未知、列出最後可信觀察並請人確認。

研究報告離線批次處理約比線上處理快 10 倍,指特定處理流程,不等於全部即時問答快 10 倍。重新索引可能延遲最新事件進入記憶。

例外也包括物件名稱與身分變化。兩把相似鑰匙、不同人的杯子或換包裝藥盒可能被合併;物件分裂或合併時,場景圖需要保留歷史而不是覆寫。使用者修正應回到索引,並標示這次修正只適用哪個時間和實體。

人員負責身分、修正與高風險決定

語言模型答案不取代最新感知。

人的角色是確認重要答案、修正物件身分、標記事件和決定刪除。系統不應以『記憶完整』為由隱藏不確定性;錯誤修正要保留來源與時間。

論文中的 OC-NaVQA 最高 53.6%、位置錯誤改善 21.9%、時間錯誤改善 21.6%、SG3D grounding 改善 27.8%,是不同指標與基準,不能合成實際家庭成功率。

人員確認介面要顯示模型依據,不只最後一句答案。時間範圍、位置、影像縮圖、可能候選和不確定性,可讓人快速判斷;若答案和原始觀察矛盾,人員應能標記並阻止相同錯誤反覆出現。修正也需可撤銷,避免一次誤點污染長期記憶。

位置與活動記錄先過個資門檻

保存、存取、共享和刪除需具名政策。

長期室內記錄可能暴露住址布局、生活習慣、訪客、物品與活動。部署前要指定本機或雲端、加密、存取、保存期限、刪除權、共享和再訓練。

資料同意與刪除邊緣 AI 儲存邊界可用來設計。家庭成員與訪客也需要可理解的告知。

個資治理還要處理旁觀者。家中訪客、員工或病患可能沒有同意被長期記錄,攝影機也可能拍到螢幕和文件。可採最小化區域、物件層摘要、在地處理、短期原始影像與角色權限,並提供暫停記錄的可見控制。

重建地圖與重新索引是持續成本

更新會延遲、改變答案並牽動備份刪除。

維護包含地圖重建、相機校正、儲存容量、索引更新、模型版本和備份刪除。後續 UQ-DAAAM特別處理 VLM 描述的雜訊與矛盾,證明初版不能被描述成已消除所有不確定性。

每次模型或索引更新要用固定查詢集回歸,並檢查舊資料的刪除是否也從備份和向量索引移除。

維護成本要報每週資料量、索引時間、查詢延遲、人工修正和地圖重建。離線批次快十倍可能降低建圖成本,也可能讓最新資料延遲;應明確顯示記憶更新到哪個時間,防止使用者把舊索引誤認成即時。

成本項持續工作缺少時的結果
感測校正、遮擋與地圖更新位置漂移
運算批次處理與索引新事件延遲
儲存容量、備份與刪除個資無限累積
模型描述品質與版本回歸答案無聲改變
人員修正、確認與事件處理高風險錯誤被採用

只有不確定性和刪除都可控才擴大

以長期使用、移動物件和個資請求驗收。

擴大門檻不是問題答對幾題,而是錯誤能否被察覺、關鍵物件能否回到原始證據、移動後多久更新、使用者能否修正和刪除,以及維護成本是否可接受。

若系統在高風險藥物、工具或人員位置上仍會無信心地猜測,就只保留低風險查詢,不直接驅動機器人行動。

擴大前做刪除演練:選一個物件或時段,驗證原始影像、場景圖、文字描述、向量索引、快取和備份都依政策處理。若系統只能從介面隱藏而不能真正刪除,個資門檻未通過。再做感測器更換與模型更新回歸,確認長期記憶不因維護而失真。

記憶答案也有時間有效性。介面應顯示『最後觀察於何時』與『索引更新到何時』,並依任務設定過期門檻;找鑰匙可以提供舊線索,確認藥物或危險設備則需要即時重看。把時間顯示為證據的一部分,可防止使用者把歷史狀態當成現在。

評估不確定性時,分開看物件偵測、位置、文字描述、時間和代理查詢。最後一句答案可能自信,但上游某一層已低信心;系統應傳遞而不是平均掉。後續 UQ-DAAAM 顯示研究者也在處理描述雜訊,部署方不能假設初版已解決。

運作組織要指定誰可以查看哪些房間、誰可修正、誰可刪除,以及事件發生時誰匯出證據。多使用者家庭或機構中,同一地圖可能包含不同權限物件。查詢代理應在檢索前套用權限,不要先取回敏感資料再只在畫面隱藏。

退出策略包括匯出可攜資料、刪除所有副本、關閉持續收集、恢復沒有記憶服務的基本機器人功能。若供應商停止服務或模型不再支援,機器人不能因依賴雲端長期記憶而失去安全移動。這些條件應在試辦前就寫進合約。

  • 回傳原始觀察與信心
  • 測試物件移動、遮擋與同名
  • 允許使用者修正與標記未知
  • 驗證保存期限及完整刪除
  • 限制高風險答案直接觸發動作

讀者接著會問

什麼情況應停止或退出試辦?

若系統無法回到原始證據、持續混淆物件、刪除要求不能從索引與備份完成,或高風險答案會無信心地驅動動作,就應停止擴大,縮小用途或退出。

資料最後查核:2026 年 8 月 25 日