RoboSet의 human과 expert를 모두 ‘숙련된 사람이 직접 보여 준 시범’으로 묶으면 데이터의 생성 과정을 잘못 설명하게 됩니다. 공식 문서에서 human은 사람의 원격조작에서 나온 궤적이고, expert는 과제별로 학습한 정책을 실행해 얻은 궤적입니다. 일부 human 자료는 기존 사람 시범을 RoboHive 환경에서 재생해 구성한 데이터입니다.
관측·행동·보상·영상이 같은 형식에 담겨 있어도 누가 행동을 만들었는지와 어느 환경에서 기록했는지는 그대로 중요합니다. 이 글은 RoboHive가 안내하는 RoboSet 자료를 기준으로, 두 출처를 학습 데이터로 해석할 때 생기는 차이를 설명합니다.
expert는 사람의 숙련도 등급이 아니다
2026년 10월 15일 확인한 RoboHive의 RoboSet 데이터 문서는 human teleoperation과 expert trajectory를 구분합니다. 전자는 Puppet을 이용한 사람 원격조작으로, 후자는 대상 과제를 위해 학습한 NPG 정책의 실행 궤적으로 설명합니다. NPG는 Natural Policy Gradient라는 강화학습 방법을 가리킵니다.
따라서 파일 이름의 expert는 ‘사람 전문가가 더 능숙하게 조작했다’는 비교 등급이 아닙니다. 행동을 만든 주체가 학습된 정책이라는 출처 정보입니다. 그 이름만으로 모든 궤적이 성공한다거나, 사람 데이터보다 언제나 학습에 유리하다고 결론 낼 수도 없습니다.
가령 같은 주방 과제에서 사람 조작 자료와 정책 실행 자료를 함께 쓰는 상황을 생각해 보겠습니다. 사람 조작은 운영자가 선택한 움직임을, 정책 실행은 그 정책이 학습과 평가 조건 아래에서 선택한 움직임을 담습니다. 공통 열 이름을 유지한 채 두 자료를 합쳐도 이 차이는 사라지지 않습니다.
데이터 구성의 효과를 알고 싶다면 출처별 결과를 구분해 볼 수 있어야 합니다. 이는 human과 expert 중 하나가 더 좋다는 주장이 아니라, 어떤 생성 경로의 데이터가 해당 과제에 도움이 됐는지 판단할 수 있게 하자는 제안입니다. 실제 혼합 비율이나 성능은 여기서 시험하지 않았습니다.
사람 시범을 재생했다면 원래 행동과 새 기록 환경을 함께 본다
데이터 문서의 개별 항목은 출처를 더 구체적으로 설명합니다. HMS(human)은 원래 DAPG 저장소의 사람 궤적을 대응하는 RoboHive 환경에서 재생한 자료입니다. FK1-v4(human)은 Relay 저장소의 궤적을 재생한 자료이며, 여러 작업을 연이어 수행하는 play data로 소개됩니다.
여기서 human은 행동의 기원이 사람이라는 점을 보존합니다. 그렇다고 모든 영상과 상태가 지금 보고 있는 환경에서 사람이 직접 조작할 당시 함께 기록된 원본이라고 가정할 수는 없습니다. 재생을 거쳐 구성됐다는 설명이 있으면 원래 시범과 재생 환경이라는 두 단계를 나눠 읽어야 합니다.
예를 들어 사람 시범의 행동 순서는 유지하면서 다른 환경 버전에서 영상을 다시 얻었다고 합시다. 행동의 사람 출처는 유지되지만, 새 영상은 그 재생 환경의 카메라와 렌더링 조건에 의존합니다. 이는 재생의 의미를 설명하기 위한 가상 사례이며, 특정 RoboSet 파일에서 관측 차이를 측정했다는 뜻은 아닙니다.
반대로 과제별 정책이 만든 expert 궤적에 사람처럼 보이는 부드러운 동작이 있다고 해도 human 자료로 바뀌지는 않습니다. 영상의 인상으로 출처를 정하기보다 배포 문서의 생성 경로를 확인해야 합니다.
| 표시와 생성 경로 | 설명할 수 있는 것 | 이름만으로 단정할 수 없는 것 |
|---|---|---|
| Human teleoperation | 사람이 조작한 행동에서 출발 | 모든 자료가 실제 로봇에서 직접 수집됐다는 주장 |
| Replayed human trajectory | 사람 시범을 해당 환경에서 재생한 자료 | 원본 기록과 새 관측이 바이트·물리 상태까지 동일하다는 주장 |
| Expert policy rollout | 과제별 학습 정책이 행동을 생성 | 사람 전문가의 시범, 모든 실행의 성공, 보편적 품질 우위 |
이 구분에서 human과 real도 다른 축입니다. 사람은 시뮬레이터의 로봇도 조작할 수 있습니다. 문서의 데이터 구성표가 실제 환경과 시뮬레이션 환경을 따로 표시하는 이유를, human이라는 단어 하나로 대체해서는 안 됩니다.
RoboHive 버전 변경은 사람 출처를 지우지 않지만 재생 조건을 바꿀 수 있다
재생 환경을 업데이트한 경우에는 행동의 출처와 현재 실행 조건을 따로 유지해야 합니다. 예를 들어 공식 RoboHive v0.7 릴리스 기록은 사전 릴리스로 표시되며, Gymnasium 기본 사용과 MuJoCo 3.1.3으로의 변경, reset의 선택적 seed·kwargs 지원 등을 안내합니다.
이는 해당 릴리스의 변경 기록이지, 모든 과거 궤적이 새 환경에서 동일하게 재현된다는 시험 결과가 아닙니다. 패키지가 설치되고 파일이 읽힌다는 사실만으로 관측, 초기화와 종료 동작까지 이전과 같다고 설명할 수 없습니다. 다만 버전 변경이 있었다는 이유만으로 실제 결과가 달라졌다고 단정해서도 안 됩니다.
재생을 활용하려는 독자에게 필요한 질문은 구체적입니다. 지금 자료가 배포된 관측을 그대로 읽는 것인지, 행동이나 상태를 이용해 환경에서 다시 생성하는 것인지부터 구분하세요. 다시 생성한다면 입력 궤적의 출처를 유지하면서, 사용한 환경과 초기화 조건에서 무엇이 재현되는지 별도로 확인해야 합니다. 이 글에서는 v0.7을 설치하거나 궤적을 재생하지 않았습니다.
데이터 설명에서 빠뜨리지 말아야 할 한 문장
RoboSet을 사용한 결과를 설명할 때는 ‘RoboSet으로 학습했다’에 그치지 않고 어떤 부분집합을 어떤 경로로 썼는지 덧붙이는 편이 좋습니다. 예를 들면 ‘배포된 HMS의 사람 시범 재생 자료를 사용했다’와 ‘과제별 expert 정책의 실행 자료를 사용했다’는 서로 다른 설명입니다. 실제 사용한 파일에 맞는 표현이어야 합니다.
이 한 문장이 있으면 이후의 질문도 달라집니다. 사람 시범의 다양성을 보려는지, 특정 정책이 만든 행동 분포를 활용하려는지, 재생 환경에서 다시 만든 관측을 쓰려는지 독자가 이해할 수 있습니다. 모든 것을 같은 품질의 사람 시범으로 묶으면 이 판단 근거를 잃습니다.
출처를 구분한 다음 관측과 행동의 정렬, 좌표, 결과 라벨을 점검하는 방법은 로봇 학습 데이터 품질 검수로 이어집니다. 공통 형식은 읽기와 처리를 돕지만, 출처의 차이나 실제 품질을 대신 증명하지는 않습니다.