겉모양이 같은 물체를 무게순으로 놓으려면 먼저 들어 봐야 합니다. 덮개 아래 빨간 큐브를 찾아야 한다면 덮개를 움직여야 합니다. IMBench의 hidden-state 과제는 이처럼 정답을 결정할 정보를 얻는 행동과 목표를 완성하는 행동을 연결합니다. 로봇이 다음 동작을 고르는 데 필요한 사실이 아직 보이지 않을 때, 관측을 바꾸는 동작부터 선택하게 만드는 평가입니다.
IMBench 논문은 이를 mass-sort와 occluder-push라는 두 과제로 구체화합니다. 단, 환경이 제공하는 힘·촉각 신호와 논문에서 평가한 모델의 입력은 구분해야 합니다. 논문은 힘·토크와 촉각 신호를 공개했지만, 평가한 baseline들은 힘 피드백과 촉각을 사용하지 않았다고 명시합니다. 아래의 질량 관측 과정은 과제 설계가 요구하는 정보 흐름입니다.
같은 외관의 큐브는 들어 올린 뒤에 구별된다
mass-sort에는 외관이 같은 큐브 세 개가 놓입니다. 질량은 50g, 100g, 200g이며 초기 순서는 무작위입니다. 테이블의 세 구역에 가벼운 것부터 무거운 것까지 왼쪽에서 오른쪽으로 배치해야 합니다. 잘못된 구역에 놓으면 즉시 실패하므로, 배치하면서 시행착오로 순서를 맞추는 방법은 이 과제의 해법이 아닙니다.
카메라로 큐브의 위치와 집을 지점을 알 수 있어도 어느 큐브가 200g인지는 알 수 없습니다. 논문 부록 B.2.5의 기준 계획은 각 큐브를 들어 올리며 손목 힘·토크로 질량을 추정하고, 그 결과를 정렬한 뒤 해당 구역에 놓는 순서입니다. 여기서 들어 올리기는 운반의 시작이면서 동시에 측정 행위입니다.
다음은 과제의 세 질량을 이용해 만든 가상 배치입니다. A·B·C는 설명을 위해 붙인 이름입니다.
| 처음 보이는 큐브 | 들어 올린 뒤 확인했다고 가정한 질량 | 최종 배치 |
|---|---|---|
| A | 200g | 오른쪽 구역 |
| B | 50g | 왼쪽 구역 |
| C | 100g | 가운데 구역 |
세 큐브를 보기만 할 때는 A·B·C라는 위치별 구분만 있습니다. 측정 뒤에는 B→C→A라는 질량 순서가 생깁니다. 정책이 보존해야 할 정보도 “방금 무거운 물체를 들었다”에서 끝나지 않습니다. 그 측정이 어느 큐브에 대응하는지 유지해야 나중의 배치에 사용할 수 있습니다.
힘이 질량의 단서가 되는 이유는 간단한 계산으로 볼 수 있습니다. 설명을 위한 이상화 계산으로, 물체가 정지해 있고 중력 방향의 물체 하중만 분리해 읽을 수 있다고 가정하겠습니다. F = mg에 g = 9.81m/s²를 넣으면 50g은 약 0.49N, 100g은 약 0.98N, 200g은 약 1.96N에 대응합니다. 실제 손목 신호에서 이 관계를 쓰려면 그리퍼 자체의 하중, 좌표계, 움직임에 따른 관성 성분을 구분해야 합니다. 이 관계는 들어 올리기가 질량의 단서를 만드는 원리를 보여줍니다.
덮개를 미는 동작은 다음 카메라 영상을 바꾼다
occluder-push에서는 빨간 목표 큐브 하나와 방해 큐브 두 개가 각각 가벼운 덮개에 가려져 있습니다. 목표는 빨간 큐브를 초록색 목표 구역으로 옮기는 것입니다. 덮개가 닫혀 있는 동안에는 색을 확인할 수 없으므로, 먼저 덮개를 들어 내거나 옆으로 밀어 큐브를 드러내야 합니다.
이 경우 정보는 힘 수치보다 행동 뒤에 새로 찍히는 영상에서 나옵니다. 덮개를 밀기 전에는 정체가 숨겨져 있고, 민 뒤에는 색이 보입니다. 따라서 정책에는 “목표 큐브를 집는다”라는 마지막 동작뿐 아니라, 그 동작을 선택할 수 있도록 시야를 바꾸는 중간 목표가 필요합니다.
과제 구조를 설명하는 예로, 첫 덮개를 밀었는데 다른 색의 큐브가 나왔다면, 그 행동은 최종 배치를 끝내지는 않았지만 후보 하나를 제외하는 정보를 만들었습니다. 다음 덮개를 열어 빨간 큐브를 찾으면 그때 집기와 이동으로 전환할 수 있습니다.
논문의 rollout 분석은 이 중간 동작에서도 실패 원인을 구분합니다. 일부 VLA baseline은 시야를 확보하는 clearing 동작 대신 덮개를 직접 집으려 했습니다. Diffusion Policy에서는 덮개를 치우는 동작이 지나치게 커서 덮개와 숨은 큐브가 함께 테이블 밖으로 떨어지는 실패가 보고됐습니다. 필요한 정보를 얻으려는 행동 선택과, 물체를 남겨 두면서 그 행동을 수행하는 제어 정밀도가 함께 작동해야 하는 이유입니다.
환경에 있는 신호와 모델이 읽는 신호를 나눈다
IMBench의 공통 관측에는 동기화된 2~4개 RGB 시점, 로봇 고유감각, 그리퍼 상태, 손목 힘·토크가 포함됩니다. 행동은 말단장치의 6자유도 변화량과 그리퍼 명령으로 표현됩니다. 그러나 평가 결과를 읽을 때는 이 환경 목록만으로 모델의 센서 구성을 판단할 수 없습니다. 논문 §5는 평가한 baseline들이 힘 피드백·촉각을 사용하지 않았다는 조건을 별도로 적습니다.
| 구분할 대상 | mass-sort에서 하는 역할 | occluder-push에서 하는 역할 |
|---|---|---|
| 과제에 숨겨진 사실 | 큐브의 질량 | 덮개 아래 큐브의 정체 |
| 정보를 얻는 행동 | 들어 올려 반응을 관측 | 덮개를 옮겨 시야 확보 |
| 후속 판단 | 질량 순서 결정 | 빨간 목표 선택 |
| 목표를 끝내는 행동 | 지정된 구역에 배치 | 초록색 목표 구역으로 이동 |
새 정책에 힘 신호를 연결해 mass-sort를 평가한다면, 입력 구성이 달라졌다는 사실을 결과와 함께 적어야 합니다. 비교의 질문은 “같은 영상 정책이 더 잘 학습됐는가”에서 “질량을 구별하는 추가 관측을 정책이 어떻게 이용하는가”로 넓어집니다. 작업 성공률을 해석할 때 관측·행동·판정 조건을 함께 보는 방법은 로봇 VLA 평가 글에서 이어서 볼 수 있습니다.
기억하는 문제와 새로 알아내는 문제는 다르다
RMBench의 작업 기억 설명은 이전에 본 단서를 나중까지 유지해야 하는 상황을 다룹니다. IMBench의 두 예시에서는 처음에 결정적인 단서가 아직 드러나지 않았습니다. 기억 용량을 늘리는 것만으로 숨겨진 큐브의 질량이나 색이 입력에 생기지는 않습니다. 먼저 관측 가능한 상태를 만드는 행동이 필요하고, 그 뒤 얻은 정보를 이어서 사용합니다.
이 차이는 학습용 시범을 구성할 때도 유용합니다. 질량 정렬이라면 들어 올리기와 해당 물체의 측정이 이어지는 구간이, 가림막 과제라면 가리기 전후의 영상과 clearing 동작이 설명의 중심이 됩니다. 마지막 배치 장면만으로는 왜 그 물체와 구역을 선택했는지 복원하기 어렵기 때문입니다. 한 에피소드를 이해할 때 “무엇을 옮겼는가”와 함께 “그 동작 뒤에 무엇을 새로 알게 됐는가”를 물으면, 능동 관측이 필요한 지점을 찾을 수 있습니다.
자료는 2026년 10월 16일 확인한 IMBench 논문 v1의 과제 정의와 한계에 근거했습니다. 이 글에서는 시뮬레이터 실행이나 로봇·모델 평가를 수행하지 않았습니다.