오픈 로봇 데이터셋에서 ‘가장 큰 것’을 찾는 질문은 대개 잘못 시작됐다. 도입 순서는 총 궤적 수의 순위가 아니라 목표 로봇의 관측·행동·작업 계약과 맞는 에피소드 비율, 라이선스와 재생 가능성을 먼저 감사하는 것이다.
같은 1만 궤적이라도 로봇 팔과 그리퍼, 행동 좌표, 카메라 시점, 작업 길이와 실패 포함 여부가 다르면 합쳐 학습할 때의 의미가 달라진다. 데이터셋 페이지에 적힌 규모는 후보를 거르는 표지판일 뿐, 내 로봇에서 재생 가능한 행동이나 상업 사용권을 보증하지 않는다.
공개 데이터의 주장은 숫자보다 단위를 먼저 확인한다
Open X-Embodiment는 여러 기관·로봇·과제를 한 형식으로 모으려는 연구 협력이다. 공식 프로젝트 페이지는 22개 로봇 형태와 60개 데이터셋을 묶은 공개 연구를 설명한다. 여기서 ‘데이터셋’은 동일 센서·행동 품질의 한 덩어리가 아니므로 총 에피소드만 합쳐 균질한 말뭉치처럼 다루지 않는다.
DROID 공식 페이지는 Franka 기반으로 76,000개 시범, 350시간, 564개 장면과 86개 작업을 보고한다. BridgeData V2 공식 페이지는 60,096개 궤적과 24개 환경, 13개 기술을 공개한다. 이 수치는 각 프로젝트가 정의한 수집·정제 단위이며 서로 같은 ‘작업 성공’ 분모가 아니다.
AgiBot World 공식 저장소는 Beta와 Alpha 릴리스 규모·포맷·라이선스를 구분한다. LeRobotDataset v3 공식 문서는 Parquet·MP4·메타데이터를 사용하는 표준화된 멀티모달 시계열 형식과 스트리밍 방식을 설명한다. LeRobot은 하나의 고정 코퍼스와 형식·도구 생태계를 혼동하지 않아야 한다.
숫자를 대조할 때 trajectory, episode, demonstration, hour가 같은 단위인지 확인한다. 한 에피소드가 여러 시도와 복구를 담을 수 있고 짧은 궤적을 많이 잘라 총수가 커질 수도 있다. 총량과 함께 길이 분포, 유효 행동 프레임, 성공·실패·중단 구성과 중복을 층화 표본으로 감사한다.
비교 조건은 내 로봇의 관측·행동 계약이다
다운로드 전 목표 작업의 카메라 수·위치, 관절과 말단 자세, 그리퍼·힘·촉각, 제어주기, 행동이 절대값인지 증분인지부터 적는다. 그다음 각 데이터셋의 임의 샘플이 아니라 여러 에피소드의 스키마와 영상·행동을 직접 읽는다. 문서와 실제 파일의 열 이름·단위·결측이 일치하는지도 확인한다.
| 후보 | 공식 공개 범위 | 먼저 맞출 조건 | 즉시 중단 신호 |
|---|---|---|---|
| Open X-Embodiment | 다기관·다형태 혼합 | 형태별 행동·관측 변환 | 원 데이터 출처·라이선스 불명 |
| DROID | Franka 현장 시범 | 손목·외부 영상과 행동 좌표 | 장면·작업 편중을 모름 |
| BridgeData V2 | WidowX 계열 다환경 기술 | 로봇·명령·성공 정의 | 스크립트·텔레옵 혼합을 무시 |
| AgiBot World | 휴머노이드·대규모 릴리스 | 릴리스·포맷·라이선스 버전 | 비상업 조건을 상업용으로 가정 |
| LeRobot | 표준 포맷·도구 | fps·timestamp·feature schema | 포맷 호환을 의미 호환으로 오인 |
시험용 샘플은 쉬운 성공만 고르지 않는다. 긴 정지, 사람개입, 카메라 끊김, 그리퍼 실패, 관절 한계와 작업 취소를 포함한다. 행동을 내 로봇으로 변환한 뒤 속도·작업공간·그리퍼 범위가 얼마나 잘리는지 계산하고, 변환 불가능한 에피소드 비율을 분모에서 숨기지 않는다.
경계 사례는 데이터 규모가 아니라 학습 손실을 결정한다
카메라가 고정인지 이동인지, 손목 영상이 가려지는지, 색·깊이의 시각이 맞는지에 따라 같은 조작도 다르게 배운다. 음성·언어 명령은 작업 단계와 정렬되지 않을 수 있고, 성공만 남긴 데이터는 실패복구를 가르치지 못한다. 에피소드 경계가 잘못되면 앞 작업의 종료가 다음 작업의 초기상태로 섞인다.
혼합 데이터는 로봇 형태와 행동 표현의 불균형을 키운다. 많은 단순 pick-and-place가 적은 정밀삽입을 압도할 수 있고, 특정 연구실 배경을 성공 단서로 외울 수 있다. 로봇 데이터셋 혼합 가중치처럼 작업·로봇·환경·성공·실패별 빈도와 유효 표본을 따로 본다.
라이선스는 코드, 데이터, 영상 속 제3자 요소를 나눠 읽는다. 예를 들어 AgiBot World 공식 저장소가 표시하는 CC BY-NC-SA 조건은 상업 학습·재배포 판단에 직접 영향을 준다. CC BY라고 해도 사람 얼굴·화면·시설 정보에 대한 개인정보·계약 권리가 자동 해결되는 것은 아니다. 사용 목적과 관할에 맞는 법무검토가 필요하다.
실패 행렬은 샘플에서 복구 가능한지 확인한다
정적 스키마 검사는 시작일 뿐이다. 영상과 행동을 시간축으로 재생하고, 첫·중간·끝 프레임에서 로봇 상태와 장면이 실제로 이어지는지 확인한다. 학습 파이프라인이 읽었다는 사실과 의미가 맞다는 사실을 구분한다.
| 실패 | 발견 방법 | 복구 | 합격 증거 |
|---|---|---|---|
| 행동 좌표 불일치 | 원본·변환 궤적 시각화 | 형태별 어댑터·제외 | 속도·한계 위반 0과 표본 재생 |
| 영상·상태 시간 어긋남 | 접촉·급변 교차상관 | timestamp 재정렬·제외 | 허용오차 내 동기 분포 |
| 작업 라벨 모호 | 사람 2인 독립 검수 | 정의 재작성·다중 라벨 | 일치율과 보류 목록 |
| 릴리스 혼합 | 파일·메타 해시 대조 | 버전 고정·재수집 | 다운로드 원장과 재현 해시 |
| 권리 범위 불명 | 원 출처·라이선스 추적 | 사용 중단·대체 자료 | 목적별 승인 기록 |
복구로 의미를 추정해 채우지 않는다. timestamp가 없는데 프레임 번호만으로 정밀 접촉을 맞췄다고 가정하거나, 성공 라벨이 없는데 마지막 프레임만 보고 성공으로 만들면 새 오류가 생긴다. 근거가 없는 구간은 보류·제외하고 영향을 데이터 커버리지에 반영한다.
복구 지표는 학습 전후를 같은 작업으로 잇는다
학습 전에는 읽기 성공률보다 사용 가능 에피소드율, 좌표·시간 변환 후 잔존율, 작업·환경·로봇별 커버리지와 사람 검수시간을 본다. 학습 중에는 데이터셋별 샘플 비중, 손실과 기울기, 특정 배경·형태 의존을 추적한다. 학습 뒤에는 목표 로봇의 동일 작업과 새로운 배치에서 성공·개입·안전정지를 측정한다.
오픈 데이터만 쓴 기준선, 현장 데이터만 쓴 기준선, 두 데이터를 혼합한 모델을 같은 초기상태·시간제한으로 비교한다. 혼합 모델이 평균은 높지만 위험한 실패가 늘 수 있으므로 성공률 하나로 결정하지 않는다. 데이터 규모를 늘린 효과와 모델·하이퍼파라미터 변경 효과도 분리한다.
재현성에는 URL만이 아니라 릴리스 태그, 파일 목록·해시, 변환 코드, 제외 규칙과 라이선스 스냅샷이 필요하다. 원 데이터가 갱신되면 자동으로 덮어쓰지 않고 새 버전으로 가져와 회귀시험한다. 로봇 데이터셋 버전과 계보의 원칙으로 원본–정제–학습 샤드를 연결한다.
도입 결정은 범위·권리·현장 이득 세 문을 통과한다
첫 문은 의미 호환이다. 목표 작업·센서·행동·형태에 변환 가능한 표본이 충분한지 확인한다. 둘째는 권리 호환이다. 코드와 데이터, 개인·시설 정보의 사용·재배포 범위를 목적별로 승인한다. 셋째는 현장 이득이다. 동일 모델에서 오픈 데이터 추가가 새 배치 성공과 데이터 효율을 실제로 개선했는지 본다.
- 공식 프로젝트·저장소에서 릴리스, 규모 단위와 로봇 형태를 기록한다.
- 임의 10개가 아니라 작업·환경·성공·실패 층화 표본을 영상과 행동으로 재생한다.
- 행동 좌표·단위·fps·timestamp·카메라와 결측을 형태별 계약표에 적는다.
- 라이선스·출처·개인정보·시설정보를 사용 목적별로 검토하고 보류 자료를 분리한다.
- 변환 전후의 제외율·왜곡·사람 수정시간을 전체 분모로 공개한다.
- 현장 단독·오픈 단독·혼합 기준선을 같은 로봇과 안전조건에서 평가한다.
세 문 가운데 하나라도 근거가 없으면 전량 도입을 중단한다. 다만 특정 하위 작업의 표현 사전학습이나 데이터 도구 검증에는 제한적으로 쓸 수 있다. ‘오픈이라 무료’가 아니라 다운로드·정제·검수·법무·재학습·회귀 비용을 합쳐 결정한다.
도입 뒤에도 출처별 기여와 실패를 추적한다. 특정 데이터셋을 제외했을 때 새 물체·배경·로봇 형태의 성능이 어떻게 바뀌는지 작은 ablation을 수행하고, 해로운 하위군은 가중치를 낮추거나 격리한다. 원 출처의 새 릴리스는 자동 병합하지 않고 기존 모델과 동일 평가를 통과시킨다.
오픈 로봇 데이터 오류는 누가 어떻게 고쳐야 하나
사람은 오픈 데이터 감사의 어느 단계에 개입해야 하나요?
스키마 자동검사 뒤 층화 표본의 영상·행동·라벨 의미를 독립 검수하고, 모호한 작업·성공·개인정보·라이선스 구간을 보류해야 한다. 변환 코드가 통과했다는 이유로 의미·권리 판단을 자동 승인하면 안 된다.
공개 데이터에 오류가 있으면 누가 고쳐야 하나요?
원 프로젝트에 재현 가능한 이슈를 제출할 수 있지만, 실제 학습에 사용한 릴리스·변환·제외와 현장 결과의 책임은 도입팀에 있다. 로컬 패치는 원본을 덮지 말고 버전·해시·사유와 함께 파생 계보로 남긴다.
자료 마지막 확인: 2026년 8월 26일