MIT DAAAM은 로봇이 본 물체의 좌표만 저장하는 시스템이 아니다. 3D 공간에 시간, 사건과 언어 설명을 함께 연결해 “열쇠를 마지막으로 본 곳”이나 “어제 식탁에 있던 물건”처럼 위치와 시간이 섞인 질문을 검색하려는 4D 기억 구조다.
연구 결과는 장기 기억의 가능성을 보여주지만 한 번 본 물건을 항상 찾는다는 보장은 아니다. 물체가 이동하거나 가려지고, 영상 언어모델(VLM)이 틀린 캡션을 만들며, 지도가 오래되면 답이 빗나간다. 실제 가정 로봇은 기억 정확도만큼 삭제·보존·사람 확인 절차를 설계해야 한다.
현재 로봇은 마지막 지도와 지금 공간을 자주 혼동한다
일반적인 3D 지도는 벽과 가구, 물체 위치를 한 시점의 공간으로 표현한다. 그런데 열쇠는 탁자에서 서랍으로, 컵은 식기세척기로 이동한다. 예전 관찰을 지우면 “어디에 뒀지?”라는 질문에 답할 근거가 사라지고, 모두 남기면 서로 충돌하는 위치가 쌓인다.
긴 작업에서도 같은 문제가 생긴다. 로봇이 부품을 옮긴 뒤 이전 위치만 기억하면 다음 단계에서 잘못된 장소를 찾는다. 장기 작업의 기억과 복구가 단순 위치 저장보다 사건 순서를 요구하는 이유다.
자동화 후보는 모든 영상을 저장하는 것이 아니라 사건을 구조화하는 일이다
DAAAM은 물체, 공간, 관찰 시점과 사건을 계층형 4D 장면 그래프에 연결한다. 각 위치에는 VLM이 만든 언어 설명이 붙는다. 질의를 받은 에이전트는 지도, 시간과 캡션을 조회하는 도구를 선택해 관련 기억과 근거 위치를 찾는다.
이 구조의 장점은 “좌표 (x,y,z)”보다 사람이 묻는 방식에 가깝다는 점이다. “주방 섬 왼쪽에서 지난 밤 본 파란 컵”처럼 장소, 관계, 시간과 속성을 함께 검색할 수 있다. 반면 캡션이 물체 색이나 관계를 틀리게 기록하면 검색도 틀린 기억을 되돌려준다.
예외 흐름은 ‘마지막으로 봄’과 ‘지금 있음’을 분리한다
로봇이 “열쇠는 서랍에 있다”고 말하려면 현재 관찰을 확인해야 한다. 과거 기억만 있다면 “마지막으로 서랍에서 관찰했다”고 표현해야 한다. 발견하지 못했을 때는 기억 부재, 센서 가림, 캡션 오류, 물체 이동 가능성을 분리해 사람에게 보여줘야 한다.
후속 UQ-DAAAM 연구가 VLM 캡션의 잡음과 불일치를 별도로 다루는 것도 이 때문이다. 언어 설명은 검색을 편하게 하지만 센서 원본을 대신하는 진실값은 아니다. 답과 함께 관찰 시각, 위치, 원본 프레임, 확신도를 돌려줘야 사람이 반증할 수 있다.
사람의 역할은 기억을 승인하고 잊게 하는 데 남는다
가정이나 요양 공간에는 사람 얼굴, 약, 문서, 방문 기록과 생활 패턴이 쌓인다. 로봇이 오래 기억할수록 편리함과 개인정보 위험이 함께 커진다. 사용자는 어떤 방과 물체를 기록할지, 누가 질의할지, 언제 자동 삭제할지 선택할 수 있어야 한다.
데이터를 클라우드로 보내는지 기기 안에 두는지, 언어 캡션만 남기고 원본 영상을 지울 수 있는지, 삭제 요청이 파생 인덱스와 백업에도 반영되는지를 계약에 넣어야 한다. 로봇 데이터의 동의·삭제·재사용 원칙이 장기 기억에 특히 중요하다.
보이지 않는 유지보수는 재색인과 시간 정합이다
카메라 위치가 바뀌거나 집 구조가 달라지면 기존 3D 지도와 새 관찰을 다시 맞춰야 한다. 시계가 어긋나면 사건 순서가 뒤집힌다. VLM 버전을 바꾸면 같은 장면의 캡션이 달라질 수 있어 과거 기억을 어느 시점에 재처리할지도 정해야 한다.
- 지도 원점·센서 보정과 시계 동기화 상태
- 물체 ID 병합·분리와 이동 이력
- VLM·임베딩·검색 인덱스 버전
- 원본 관찰, 캡션, 사람 정정의 연결
- 보존기간 만료·삭제 요청의 실제 반영
연구팀은 오프라인 배치 처리가 온라인 방식보다 약 10배 빠르다고 보고했다. 이는 장면을 모아 처리하는 주석·구성 단계의 연구 결과이며 모든 질의 응답이 10배 빨라졌다는 뜻이 아니다. 배치 처리에는 최신성이 늦어지는 대가도 있으므로 긴급 질의와 정기 재색인의 경로를 나눠야 한다.
파일럿은 물건 찾기보다 틀린 답을 안전하게 다루는지 본다
| 파일럿 비용 항목 | 기준선 | DAAAM 적용 뒤 측정 | 확장 전 문턱 |
|---|---|---|---|
| 사람의 물건 탐색 | 질문당 탐색시간·실패 | 답·근거 확인까지 시간 | 오답 검증시간까지 절감 |
| 저장·재색인 | 기존 영상·지도 비용 | 4D 그래프·캡션·인덱스 비용 | 보존정책 안에서 감당 가능 |
| 정정·복구 | 사람 재탐색·기록 수정 | 캡션 충돌·물체 이동 정정 | 중요 오답의 복구시간 기준 충족 |
| 개인정보 관리 | 현재 접근·삭제 절차 | 원본·파생 기억 삭제 검증 | 감사 가능한 삭제와 권한 |
첫 파일럿은 제한된 방과 동의한 물체로 시작해야 한다. 물체를 일부러 옮기고, 가리고, 비슷한 물체를 추가하고, 캡션이 틀리기 쉬운 조명에서 질문한다. 정답률뿐 아니라 틀렸을 때 시스템이 확신을 낮추는지, 원본 근거를 보여주는지, 사람 정정 뒤 기억이 고쳐지는지를 측정한다.
논문은 OC-NaVQA 질문 정확도 최대 53.6%, 위치 오류 21.9%, 시간 오류 21.6%, SG3D grounding 27.8% 개선을 보고한다. 서로 다른 기준선과 지표의 상대 개선값이다. 한 숫자로 합치거나 실제 가정에서 열쇠를 찾을 절대 성공률로 바꾸면 안 된다.
본배치 문턱은 정확도와 개인정보를 동시에 넘는 것이다
파일럿에서 정한 핵심 질문의 정확도, 오래된 기억 표시, 사람 정정 반영, 저장량·응답 지연, 삭제 검증과 접근권한이 모두 기준을 넘어야 한다. 한 항목이라도 실패하면 기억 범위를 줄이거나 사람 확인을 필수로 남겨야 한다.
중요도에 따라 답의 문턱도 달리 잡는다. 리모컨 위치는 낮은 확신으로 후보를 제시해도 되지만 약·열쇠·위험 공구는 현재 관찰이나 사람 확인 없이는 확정형 문장으로 답하지 않게 한다. 같은 기억 모델이라도 물체 등급별로 보존기간, 접근권한, 확인 방식과 오답 비용을 다르게 두어야 한다.
연산을 기기 안에 둘지 클라우드에 둘지는 정확도만으로 결정하지 않는다. 엣지 AI 로봇의 저장·연산 경계처럼 지연, 네트워크 단절, 모델 크기, 개인정보와 업데이트를 함께 본다. 민감한 방은 로컬 처리하고 익명화된 인덱스만 공유하는 혼합 경로도 검토할 수 있다.
계약을 끝낼 때 기억은 어떻게 지우나?
장기 기억 제품을 도입한다면 종료 조건부터 써야 한다. 원본 영상, 3D 지도, 캡션, 임베딩, 검색 인덱스, 백업과 파생 모델 중 무엇을 반환·삭제할지 정하고 삭제 증빙을 받아야 한다. 장비를 반납해도 클라우드 기억이 남는다면 종료가 끝난 것이 아니다.
확인한 1차 자료는 MIT News의 2026년 6월 DAAAM 소개, DAAAM 논문, UQ-DAAAM 후속 논문이다. 성능 수치는 각 연구 조건에만 귀속하고 실제 배치의 보증으로 확대하지 않았다.