RoboMIND의 작업 이름은 어떤 로봇이 무엇을 하려는 시범인가를 묶고, 구간별 언어 주석은 그 시범의 지금 어느 동작을 하고 있는가를 설명합니다. 긴 조작에서는 같은 목표 문장이 접근·집기·이동·놓기 전체에 붙을 수 있습니다. 동작 구간을 나누면 영상과 로봇 상태가 어느 단계의 설명에 대응하는지 더 구체적으로 연결할 수 있습니다.
RoboMIND 논문 III절은 여러 로봇의 시범을 수집·저장·분류하고 언어 주석을 붙이는 과정을 설명합니다. 이 글은 2026년 10월 16일 확인한 해당 논문의 설계를 읽은 것으로, 배포 데이터 파일을 내려받거나 모델을 학습한 결과는 아닙니다.
작업명은 궤적을 분류하는 단위다
논문은 작업을 데이터 수집의 기본 단위로 삼습니다. 작업 정의에는 로봇 형태, 조작 기술, 관련 물체, 그리고 물체 위치·공간 관계·주변 제약 같은 장면 설명이 들어갑니다. 그래서 물체를 옮긴다는 동사가 같아도 로봇과 목적지, 주변 조건이 다른 시범을 구분할 수 있습니다.
Table II의 FR-PlaceBreadPlate는 Franka 로봇이 빵을 집어 접시에 놓는 작업이고, AX-PackBowl은 AgileX 로봇이 그릇을 포장하는 작업입니다. 이 이름들은 단순한 문장 목록에 로봇의 정체성과 작업 맥락이 함께 필요하다는 점을 보여줍니다.
작업 정의를 보존하면 비슷한 시범끼리 모을 때 무엇을 같다고 보았는지 설명할 수 있습니다. 예를 들어 같은 ‘놓기’ 기술을 공유하는 자료를 찾더라도, 단일 팔과 양팔의 역할, 목표 물체와 놓을 위치까지 동일한지는 별도로 알 수 있습니다. 같은 동사라는 이유로 행동 표현까지 합치는 대신, 어떤 공통점을 학습하려는지 정할 수 있는 단서가 됩니다.
그러나 작업명은 에피소드 전체를 가리킵니다. PlaceBreadPlate라는 이름만으로는 지금 빵에 접근하는 중인지, 이미 들고 이동하는 중인지 구별하기 어렵습니다. 긴 시범의 중간 프레임을 사용할 때 구간별 언어가 필요한 이유입니다.
하나의 목표 안에 여러 동작 설명을 넣는다
논문 III-C는 긴 조작 작업에 포함된 성공 궤적 1만 개에 세밀한 언어 주석을 부여했다고 설명합니다.
주석 과정은 두 단계입니다. 먼저 Gemini가 조작 순서를 따라 비디오를 나누고 구간마다 설명을 생성합니다. 이어 사람이 핵심 물체, 중요한 동작, 세부 조작, 시간 분절의 세밀함, 앞뒤 순서의 일관성을 다듬습니다. Figure 5에는 사과를 서랍에 넣는 시범을 여섯 구간으로 나눈 예가 나옵니다.
여기서 사람의 수정은 문장을 자연스럽게 다듬는 데 그치지 않습니다. ‘집는다’라는 설명이 실제로 손을 뻗는 구간까지 너무 넓게 포함했는지, 물체를 놓기 전에 이미 손을 거뒀다고 서술했는지처럼 영상과 설명의 시간 관계도 조정합니다. 단어가 정확해도 붙은 구간이 어긋나면 다른 행동을 가르치는 신호가 될 수 있기 때문입니다.
시간 경계를 바꾸면 같은 영상의 설명도 바뀐다
컵을 선반에 놓는 9초짜리 시범을 가상으로 생각해 봅시다. 다음 표의 구간과 문장은 설명용으로 만든 것이며 RoboMIND의 실제 파일 필드나 주석을 옮긴 것이 아닙니다.
| 시간 구간 | 에피소드 전체의 목표 | 해당 구간의 설명 |
|---|---|---|
| 0초 이상 2초 미만 | 컵을 선반에 놓기 | 컵 손잡이 쪽으로 손을 옮긴다 |
| 2초 이상 4초 미만 | 컵을 선반에 놓기 | 손잡이를 잡고 컵을 들어 올린다 |
| 4초 이상 7초 미만 | 컵을 선반에 놓기 | 컵을 선반 위 목표 위치로 옮긴다 |
| 7초 이상 9초 이하 | 컵을 선반에 놓기 | 컵을 내려놓고 손을 뗀다 |
전체 목표는 어디로 가야 하는지 유지하고, 구간 설명은 지금 수행하는 동작을 좁힙니다. 가령 4초 직전 프레임을 이동 단계에 포함하면 컵을 들어 올리는 마지막 동작과 이동 시작을 같은 구간으로 묶게 됩니다. 경계를 앞뒤로 옮기는 선택은 단순한 파일 편집이 아니라 행동을 어느 단계로 해석할지의 선택입니다.
그렇다고 모든 움직임을 한 프레임씩 잘게 나누는 편이 항상 유용한 것은 아닙니다. 컵을 들어 올리는 짧은 동작을 지나치게 쪼개면 설명이 반복되고 단계의 의미가 흐려질 수 있습니다. 반대로 접근부터 놓기까지 한 문장으로 묶으면 물체를 잡은 뒤와 놓은 뒤의 상태 차이를 표현하기 어렵습니다. 논문이 사람 검토 항목에 합리적인 시간 분절과 일관된 시간 논리를 함께 둔 이유를 여기서 이해할 수 있습니다.
통합 H5 파일과 통합된 행동 의미는 다른 층위다
논문 III-A는 한 궤적의 다중 시점 RGB-D, 로봇 고유 상태, 말단장치 상태, 원격 조작자의 신체 상태 정보를 하나의 H5 파일에 모으는 저장 방식을 설명합니다. 이 구조는 같은 시범에 속한 관측을 함께 관리하는 데 유용합니다.
그 안에서도 Franka 단일 팔, AgileX 양팔, Tien Kung 휴머노이드는 몸체와 조작 방식이 다릅니다. 공통 저장 형식 안에서도 로봇·관절·손·카메라의 식별 정보는 각 값의 의미를 정합니다. 같은 언어 목표 아래 여러 형태의 시범을 사용하려면 로봇 식별과 행동 표현을 언어 라벨 옆에 계속 연결해 두어야 합니다.
오픈 로봇 데이터셋 비교는 이런 관측·행동 의미의 호환을 더 넓게 다룹니다. RoboMIND의 언어 주석에서 얻을 수 있는 구체적인 관점은 두 개의 단위를 함께 유지하는 것입니다. 작업 정의는 시범 전체의 목적과 맥락을 묶고, 시간 구간 설명은 그 안에서 벌어진 동작을 구분합니다. 이후 데이터 변환에서 영상을 자르거나 샘플링 간격을 바꾸더라도, 어떤 목표의 어느 동작을 남겼는지 이 두 연결을 통해 추적할 수 있습니다.