로봇이 같은 물체를 오래 옮긴다고 해서 많은 과거 장면을 기억해야 하는 것은 아닙니다. 작업대와 남은 물체가 계속 보이면 현재 영상만으로 다음 행동을 고를 수도 있습니다. 반대로 짧은 작업이라도 처음에 잠깐 나타났다 사라진 단서가 목표를 정한다면 과거 관측이 필요합니다.
RMBench의 Task Memory Complexity(TMC, 작업 메모리 복잡도)는 이 차이를 다룹니다. 핵심 질문은 “몇 초 동안 움직이는가”가 아니라 “최적 행동을 선택하려면 작업과 관련된 과거 관측을 최소 몇 개 보존해야 하는가”입니다. 이 관점은 메모리 정책을 비교하기 전에 평가 과제 자체가 어떤 기억을 요구하는지 설명하는 데 유용합니다.
같은 현재 화면에서 정답 행동이 갈리는 순간
가상의 분류 작업을 생각해 보겠습니다. 로봇은 부품을 왼쪽 또는 오른쪽 상자에 넣습니다. 시작할 때 화면에 나타난 화살표가 목적지를 지정하고, 부품을 집기 전에 화살표가 사라집니다. 이후 두 경우의 카메라 영상과 지시는 같지만 올바른 목적지는 다릅니다.
현재 화면만 받는 정책에는 왼쪽을 고를 근거와 오른쪽을 고를 근거가 똑같이 보입니다. 앞서 본 화살표를 보존하면 두 경우를 구별할 수 있습니다. 여기서 필요한 정보는 과거 영상 전체보다 “그때 어느 방향이 표시됐는가”입니다. 화살표를 작업이 끝날 때까지 화면에 남겨 두면 같은 조작도 현재 관측만으로 풀 수 있는 과제가 됩니다.
| 가상의 관측 조건 | 현재 화면에서 알 수 있는 것 | 과거에서 필요한 정보 |
|---|---|---|
| 목적지 화살표가 계속 보임 | 부품 위치와 목적지 | 이 예시에서는 없음 |
| 화살표가 먼저 사라짐 | 부품 위치만 보임 | 앞서 표시된 목적지 |
| 여러 번의 선택 결과가 차례로 사라짐 | 지금 선택할 대상 | 다음 선택에 필요한 이전 결과들 |
마지막 행의 정확한 복잡도는 결과를 어떻게 보여 주고 어떤 행동을 허용하는지에 따라 정해집니다. 단순히 작업 단계 수를 세어 붙이는 숫자가 아닙니다. 예를 들어 누적 결과가 현재 화면에 표시되면, 과거의 개별 결과를 별도로 유지할 필요가 줄어듭니다.
TMC의 m은 연속 프레임 창의 길이가 아니다
논문 3.1절의 정의는 관측과 행동의 전체 이력에서 작업에 필요한 정보를 요약한 메모리 상태를 출발점으로 삼습니다. 그중 최대 m개의 관련 과거 관측에서 얻은 정보를 담은 상태로 모든 시점의 최적 의사결정을 표현할 수 있을 때, 가능한 가장 작은 정수 m을 찾습니다.
따라서 TMC는 특정 모델이 실제로 넣는 영상 토큰 수, 저장 공간의 바이트 수, 최근 프레임을 몇 장 쌓는지와 구별됩니다. 관련 단서는 바로 직전 장면에 있을 수도 있고 오래전에 한 번 나온 장면에 있을 수도 있습니다. 논문에서 말하는 비국소적 관측은 이렇게 시간상 떨어진 단서를 포함합니다.
논문의 해석은 다음과 같습니다.
- M(0): 현재 관측으로 작업 진행 상태와 최적 행동을 정할 수 있는 경우입니다.
- M(1): 현재 상태의 모호함을 풀기 위해 관련 과거 관측 하나의 정보를 유지해야 하는 경우입니다.
- M(n): 최적 의사결정이 n개의 관련 과거 관측에 의존하는 경우입니다.
이 분류는 어떤 정책이 어려워했다는 결과에서 바로 역산하는 값도 아닙니다. 실패 원인이 물체 인식이나 집기 제어일 수 있기 때문입니다. TMC를 정의할 때는 과제가 요구하는 정보량을 보고, 모델을 평가할 때는 그 정보를 실제로 보존하고 활용했는지를 봅니다.
앞의 화살표 예시에서도 최근 영상 열 장을 넣는 방식은 화살표가 그 창 안에 남아 있을 때 유효합니다. 화살표와 조작 사이의 간격을 늘리면 같은 열 장에는 빈 화면만 들어올 수 있습니다. 필요한 관측의 수는 그대로여도 그 관측을 찾아 유지해야 하는 시간 간격은 길어집니다. 기억해야 할 단서의 수와 단서까지의 거리는 서로 다른 설계 변수입니다.
논문의 정의와 아홉 개 과제의 실용 분류
RMBench 프로젝트는 메모리 의존적 조작을 평가하기 위한 연구 벤치마크를 소개합니다. 논문 3.2절에 따르면 시스템은 RoboTwin 2.0 프레임워크와 SAPIEN 시뮬레이터를 기반으로 하며, 데이터 합성과 정책 평가를 연결합니다.
논문 3.3절은 아홉 과제를 두 묶음으로 나눕니다. M(1) 묶음은 Observe and Pick Up, Rearrange Blocks, Put Back Block, Swap Blocks, Swap T의 다섯 과제입니다. M(n) 묶음은 Blocks Ranking Try, Press Button, Cover Blocks, Battery Try의 네 과제입니다.
여기서 표현상의 세부 차이가 중요합니다. 3.1절의 M(1)은 관련 과거 관측 하나라는 형식적 정의입니다. 그러나 실제 과제를 설명하는 3.3절은 M(1) 묶음을 하나 또는 고정된 소수의 과거 프레임을 유지하는 과제라고 소개합니다. 따라서 이 묶음의 모든 환경에서 정확히 한 장이면 충분하다고 해석하기보다, 논문이 제한된 과거 단서를 요구하는 과제들을 함께 묶었다고 읽는 편이 정확합니다.
M(n) 묶음의 설명은 반복 탐색, 시행착오, 외부 피드백을 따라 정해진 횟수만큼 수행하는 과정에 무게를 둡니다. 여러 단계에서 얻은 정보를 누적하고 다시 꺼내 쓰는 능력이 평가 대상이 됩니다. 두 묶음을 비교할 때는 이 과제 구성을 함께 봐야 평균 성공률의 차이가 어떤 정보 요구에서 생겼는지 이해할 수 있습니다.
정책 비교에 M(0) 대조 과제를 넣는 이유
TMC를 활용한 평가를 설계한다면, 먼저 조작 난도는 비슷하게 두고 단서의 가시성을 바꾸는 대조가 도움이 됩니다. 이는 앞의 정의에서 도출한 평가 설계 예시입니다.
화살표가 계속 보이는 조건과 사라지는 조건을 같은 정책에 주면, 목적지를 아는 상태에서의 조작 능력과 과거 목적지를 기억하는 능력을 나눠 볼 수 있습니다. 두 조건에서 모두 실패한다면 그 결과부터 살펴봐야 합니다. 보이는 조건에서는 잘하고 사라지는 조건에서만 성능이 떨어질 때는 기억을 사용하는 경로가 더 직접적인 분석 대상이 됩니다.
이어서 단서가 사라진 뒤의 지연을 바꾸면 짧은 프레임 창이 충분한 구간과 오래된 단서를 유지해야 하는 구간을 비교할 수 있습니다. 관련 단서 수를 늘리는 실험은 또 다른 축입니다. 지연과 단서 수를 한꺼번에 바꾸면 어떤 변화가 어려움을 만들었는지 분리하기 어려워집니다.
모델 비교에서도 카메라 입력과 지시문을 맞춰야 합니다. 한 모델에는 화면 밖 목적지를 지시문으로 다시 알려 주고 다른 모델에는 알려 주지 않는다면, 두 정책이 풀고 있는 정보 문제부터 달라집니다. 메모리 모듈의 차이를 읽으려면 같은 관측 조건에서 현재 화면, 관련 과거 단서, 단서의 시간 간격을 구분해 제시하는 것이 좋습니다.
이 글은 공식 논문과 프로젝트 설명을 읽어 개념을 정리했으며, 시뮬레이션이나 정책을 직접 실행한 결과를 포함하지 않습니다.
과거 단서로 다음 행동을 결정한 뒤에는 완료된 하위 목표를 보존하고 실패한 단계에서 이어 가는 문제도 남습니다. 이 실행 계층은 로봇 장기 작업의 기억·재시도·부분 성공 관리에서 이어 볼 수 있습니다. TMC는 그 앞에서, 주어진 관측으로 다음 행동을 결정하는 데 어떤 기억이 필요한지 명확하게 만드는 기준입니다.