MIT DAAAM 机器人长期记忆：用 3D 地图与语言寻找物体

机器人记得昨天在桌边看过钥匙，却在今天桌子移动后仍指向旧位置。这个失败不是“忘了”，而是旧观察、空间变化和当前证据没有被正确区分。长期记忆系统的价值，取决于它能否告诉使用者答案来自哪一次观察、现在还可信到什么程度。

MIT 的介绍展示 DAAAM 如何把 3D 地图、时间与语言联系起来，使机器人回答物体在哪里、何时出现以及与什么事件相关。它不是像人一样记住所有事情的通用记忆，也不能保证语言答案对应当前真实物体。

当前流程把旧视频和地图变成难检索档案

移动机器人会积累大量相机、深度、位姿和地图数据，传统日志按时间或文件保存，用户很难用“我上周把充电器放在哪”来查询。直接把所有帧交给语言模型既昂贵，又会让来源和坐标模糊。

基线应记录当前找物流程：人需要翻多少视频、地图多久更新、物体移动后多少旧记录仍被误用、查询失败如何处理。没有基线，不能仅凭能回答自然语言问题就证明节省。

DAAAM 把物体、空间、时间和事件关系存入分层 4D 场景图，并为位置连接语言描述。接到问题后，代理选择地图、时间和描述工具，返回答案及相关位置。这种结构让检索不必逐帧扫描全部历史。

论文还报告离线批处理约比在线处理快 10 倍。该数字指特定处理路径，不等于整个实时问答都快 10 倍。离线处理也意味着新观察进入记忆前可能有延迟，需要明确“数据截至何时”。

物体可能被人移动，房间布局会变，相机也会遮挡；不同时间的 VLM 描述可能互相矛盾。系统要保留观察时间、位置置信度、原图引用和是否被后续观察覆盖，而不是只保留一个最新句子。

后续 UQ-DAAAM 研究明确处理 VLM 描述噪声和矛盾，说明早期系统并未解决全部不确定性。查询应能返回多个候选、证据时间与冲突提示，并在证据不足时拒绝给出确定位置。

矛盾处理可以使用时间、传感质量和独立观察，而不应让语言模型凭语气选择。新观察通常更接近当前状态，但可能遮挡或误识别；多视角一致性可以提高可信度。系统应显示为什么提升或降低某条记忆的权重，并允许人纠正，而不是静默覆盖原记录。

语言答案适合帮助人缩小搜索范围，不应直接授权机器人抓取贵重、危险或可能属于他人的物体。人需要看到原始观察、时间、地图位置与置信度，判断物体是否可能已经移动。

若机器人根据旧记忆行动，应先到候选位置重新感知，确认对象身份和可达性，再规划动作。长期记忆提供假设，不取代当前场景验证和安全控制。

室内长期记忆可能记录住户作息、物品位置、访客和活动事件。设备需要同意、访问控制、保留期、按人或房间删除、导出、远程支持和模型训练用途说明。删除一段视频，不代表其描述、嵌入和地图节点已经同步删除。

可参考机器人数据许可与同意把删除传播到原始媒体、特征、图节点、缓存和备份。涉及儿童、医疗或安防场景时，最小化采集和本地处理比“以后再删”更可靠。

多人家庭还需要对象和空间权限。一个成员可以查询自己的物品，不代表可以搜索另一人的房间或活动；维修人员临时访问地图，也不应看到完整历史。权限要作用到查询、图节点、原始证据和导出，而不仅是应用登录，并测试撤销后缓存是否仍可返回答案。

维护包括传感器重标定、地图合并、场景图重建、描述模型更新、重复节点压缩和历史迁移。模型升级可能改变同一画面的文字描述，若不保存版本，旧答案无法复现。

容量和查询成本也会随时间增长。应设定保留层级：高价值事件保留原始证据，普通观察只保留短期，低置信或重复内容定期清理。任何压缩都要允许删除请求和事故审计。

压缩和遗忘也要可解释。系统可以因时间、重复和低价值降低细节，但关键事件、用户标记和未解决冲突应有不同策略。删除前记录规则和受影响范围，保留不含敏感内容的审计摘要；若压缩使旧答案无法追溯，界面应说明证据已被清理，而不是继续给出确定结论。

成本项	基线需要测量	DAAAM 方案新增成本	扩展闸门
数据采集	视频、深度和地图量	长期存储与索引	采集最小化可执行
查询	人工查找时间	代理工具调用和验证	答案带来源与时间
纠错	旧位置误导	冲突和覆盖管理	能拒答并重新感知
维护	地图与传感器更新	场景图重建和版本迁移	可复现并可回滚
隐私	访问和删除请求	多层删除传播	删除完成可验证

论文报告 OC-NaVQA 问答准确率最高 53.6%，位置错误改善 21.9%、时间错误改善 21.6%，以及 SG3D grounding 改善 27.8%。这些是不同基准与指标的结果，不能合并成真实家庭绝对成功率。

扩展前应在目标环境测正确、过期、矛盾、拒答、重新定位、查询时延、人工纠正和删除完成率。只有当错误与来源可见、隐私能删除、当前感知会复核旧记忆时，系统才适合从研究进入长期试点。

现场试点应加入“物体从未出现”“物体已被带走”和“多个相同物体”三类问题。可靠系统会指出缺少证据、历史位置或多个候选，而不是编出唯一答案。把拒答质量、候选排序和重新搜索成本纳入指标，才能避免准确率只奖励自信回答。

查询体验也应暴露时间。回答“钥匙在桌上”时，同时显示最后观察于何时、环境后来是否变化、是否已重新确认。对高价值或安全相关物体设置更短有效期，过期后只提供搜索线索。让用户看见不确定性，比给出一个流畅但可能过时的句子更有用。

退出条件应事先写明：答案频繁无法追溯、旧记忆导致危险动作、删除无法完成、地图维护成本失控或核心指标未优于人工基线时，应停止扩展并导出或安全删除数据。

官方资料：