로봇 학습 에피소드의 시간 동기화, 행동 좌표, 캘리브레이션, 실패·개입 라벨과 데이터 누수를 검수하는 실무 기준을 설명합니다.
아래에서는 용어의 차이를 실제 시스템 경계, 실패 조건과 검증 순서로 나눠 살펴봅니다.
로봇 데이터 품질은 관측·행동·결과의 정합성이다
로봇 학습 데이터는 영상이 깨끗하고 파일이 많다고 좋은 것이 아닙니다. 같은 순간의 관측과 로봇 상태, 실제 실행된 행동, 사람 개입과 결과가 시간·좌표·단위 규약으로 연결돼야 합니다.
검수의 단위는 개별 프레임보다 에피소드가 적합합니다. 에피소드를 처음부터 끝까지 재생했을 때 로봇이 무엇을 보고 어떤 명령을 받아 어떤 결과에 도달했는지 추적할 수 있어야 합니다.
에피소드 스키마는 필수 필드와 의미를 고정한다
필수 필드에는 에피소드 ID, 작업 정의, 센서 타임스탬프, 관절·말단 상태, 행동 명령, 좌표 프레임, 단위, 성공·실패, 종료 이유, 로봇·그리퍼·카메라 버전이 포함됩니다. 값이 비어도 필드 자체를 생략하지 않는 편이 결측을 찾기 쉽습니다.
스키마 버전을 데이터와 함께 저장하고 변환기는 입력·출력 버전을 기록합니다. 행동이 위치 증분인지 절대 자세인지, 회전 표현과 그리퍼 값이 무엇인지 사람이 문서를 추측하지 않아도 알 수 있어야 합니다.
| 필드 묶음 | 필수 예 | 검수 질문 | 실패 신호 |
|---|---|---|---|
| 관측 | 영상·힘·상태·시간 | 같은 시각인가 | 역전·드롭 |
| 행동 | 값·단위·프레임·주기 | 실행 의미가 명확한가 | 혼합 규약 |
| 결과 | 성공·실패·종료 | 왜 끝났는가 | 모두 성공 |
| 메타데이터 | 로봇·센서·보정 버전 | 재현 가능한가 | 버전 누락 |
시간 동기화는 화면과 행동의 원인 관계를 지킨다
카메라 프레임 시각과 행동 명령 시각이 어긋나면 모델은 과거 화면과 미래 행동을 잘못 연결할 수 있습니다. 장치 시계, 호스트 수신 시각과 기록 시각 중 무엇을 기준으로 삼았는지 명시하고 오프셋과 지터를 측정합니다.
단조 증가 여부, 중복 타임스탬프, 드롭 간격, 센서별 샘플률과 행동 지연을 자동 검사합니다. 보간을 사용했다면 원본 값, 보간 방식과 최대 허용 간격을 함께 남겨야 합니다.
행동 좌표와 단위는 데이터셋을 합치기 전에 통일한다
말단 자세 행동은 base, world, tool 또는 camera 프레임 중 어디를 기준으로 하는지에 따라 같은 숫자의 의미가 달라집니다. 관절 행동도 위치·속도·토크 명령과 증분·절대값을 구분해야 합니다.
좌표를 변환할 때 회전 표현, 축 순서, 오른손·왼손 좌표계, 길이와 각도 단위, 그리퍼 개폐 방향을 검사합니다. 변환 후 몇 에피소드를 3D로 재생해 손끝 궤적과 물체 움직임이 실제 영상과 맞는지 확인합니다.
보정과 하드웨어 버전은 에피소드의 일부다
카메라 내부·외부 보정, 관절 영점, TCP와 그리퍼 교체 기록이 없으면 같은 행동을 재생해도 다른 위치에 도달할 수 있습니다. 보정 파일의 해시와 적용 시작·종료 시각을 데이터 메타데이터에 연결합니다.
충돌, 센서 재장착, 온도 변화와 정비 뒤에는 데이터 분포가 바뀔 수 있습니다. 로봇 시리얼, 펌웨어, 제어 게인과 카메라 노출 설정까지 필요한 범위를 작업별로 정합니다. 로봇 캘리브레이션 종류를 참고해 어느 변환을 저장할지 구분할 수 있습니다.
성공·실패 라벨은 종료 결과보다 실패 단계를 설명한다
성공 여부 하나만으로는 접근 실패, 잘못된 파지, 미끄러짐, 충돌, 놓기 위치 오차와 안전 정지를 구분할 수 없습니다. 작업을 단계로 나누고 실패가 처음 발생한 단계와 관찰 가능한 증거를 기록합니다.
부분 성공과 운영자 중단도 별도 상태로 둡니다. 실패 프레임 이후의 행동을 무조건 제거하면 복구 학습에 필요한 데이터가 사라질 수 있으므로 학습 목적에 따라 보존·가중치·제외 규칙을 정합니다.
사람 개입은 잡음이 아니라 중요한 감독 신호다
텔레옵 전환, 조이스틱 보정, 비상 정지와 수동 재개 시점을 타임라인에 남기면 자율 정책이 언제 신뢰를 잃었는지 알 수 있습니다. 개입 직전 상태와 사람이 선택한 수정 행동은 실패 경계 학습에 가치가 있습니다.
다만 개입 장치와 운영자마다 지연과 행동 스타일이 다릅니다. 운영자 ID를 개인정보와 분리된 익명 키로 관리하고 장치 유형, 제어 비율과 지연을 메타데이터로 남깁니다. 텔레옵 데이터의 수집 구조와 연결해 보는 편이 좋습니다.
데이터 혼합은 양보다 도메인 비중과 품질을 본다
서로 다른 로봇과 작업을 합치면 데이터가 많아지지만 행동 공간, 동역학, 카메라 시점과 성공 기준이 달라집니다. 모든 에피소드를 균일하게 섞으면 큰 도메인이 학습을 지배하거나 품질이 낮은 도메인이 성능을 끌어내릴 수 있습니다.
Re-Mix 연구는 Open X-Embodiment 기반 실험에서 데이터 도메인 가중치 선택이 다운스트림 성능에 큰 영향을 줄 수 있음을 보여줬습니다. 보고된 향상률은 해당 실험 설정의 결과이므로 모든 데이터셋에 그대로 적용하지 말고, 작업별 검증 세트에서 혼합 비중을 비교해야 합니다.
중복과 평가 누수는 장면 단위로 찾는다
파일 해시가 다른 영상도 같은 시범을 재인코딩하거나 프레임 일부를 잘라 만든 중복일 수 있습니다. 에피소드 ID 계보, 영상 특징, 로봇 궤적과 작업 메타데이터를 함께 사용해 근접 중복을 찾습니다.
훈련·검증·평가 분할은 프레임이 아니라 장면, 물체 인스턴스, 운영자, 로봇과 수집 세션 단위로 나눕니다. 같은 상자와 배경의 연속 촬영이 양쪽에 들어가면 새 상황 일반화보다 기억 성능을 측정하게 됩니다.
| 품질 지표 | 계산 단위 | 함께 볼 분포 | 주의 |
|---|---|---|---|
| 유효 프레임률 | 센서·에피소드 | 작업 단계 | 보간으로 숨기지 않기 |
| 행동 지연 | 명령-상태 응답 | 로봇·제어 모드 | 평균만 금지 |
| 실패 커버리지 | 실패 유형·단계 | 작업·물체 | 실패 수만 세지 않기 |
| 중복률 | 세션·궤적·영상 | 분할별 | 해시만 의존 금지 |
자동 품질 게이트와 사람 검수를 이어 붙인다
자동 검사는 스키마, 범위, NaN, 시간 단조성, 드롭, 좌표 변환 가능 여부, 행동 속도·가속도 한계, 라벨 누락과 중복 후보를 찾습니다. 실패한 에피소드는 삭제하지 않고 이유 코드와 함께 격리합니다.
사람 검수는 자동 검사의 대표 샘플, 분포 끝단, 실패와 개입 에피소드에 집중합니다. 영상·관절·행동·힘을 동기 재생하고 3D 좌표 궤적을 겹쳐 보면 숫자 범위만으로 찾기 어려운 축 반전과 시간 오프셋을 발견할 수 있습니다.
데이터셋 버전은 원본에서 학습 샘플까지 추적한다
원본 로그, 정제 규칙, 변환 코드, 필터 결과와 최종 샤드에 불변 ID와 해시를 연결합니다. 모델 학습 기록에는 데이터셋 버전, 제외 규칙과 샘플 가중치를 남겨 성능 변화의 원인을 되돌아볼 수 있게 합니다.
현장 실패가 발생하면 어떤 에피소드와 변환 버전이 비슷한 조건을 포함했는지 검색할 수 있어야 합니다. 이 순환 구조는 로봇 데이터 팩토리와 로봇 행동 데이터에서 설명한 수집·학습 운영을 품질 기준으로 구체화합니다.
1차 자료와 재현 가능한 검수 기준
여러 로봇 데이터의 구성과 변환 코드는 Open X-Embodiment 공식 저장소, 데이터셋과 RT-X 실험 범위는 Open X-Embodiment 논문에서 확인할 수 있습니다.
도메인 혼합 가중치의 영향은 Re-Mix 논문을 참고했습니다. 공개 데이터의 스키마를 그대로 복사하기보다 로봇·제어기·작업의 실제 좌표와 종료 조건에 맞춰 검수 규칙을 명시해야 합니다.
로봇 학습 데이터 품질 검수에서 자주 묻는 질문
영상이 잘 보이면 데이터 품질이 좋은가요?
아닙니다. 영상과 행동의 시간 정합성, 좌표·단위, 보정 버전과 결과 라벨이 맞아야 학습 가능한 데이터가 됩니다.
실패 데이터는 제거해야 하나요?
무조건 제거하면 복구와 위험 경계를 배울 기회를 잃을 수 있습니다. 실패 유형과 단계, 학습 목적에 따라 보존·가중치·제외를 결정해야 합니다.
서로 다른 로봇 데이터를 바로 합칠 수 있나요?
행동 공간, 좌표, 동역학과 성공 기준이 다르므로 공통 표현과 로봇별 메타데이터, 작업별 검증이 필요합니다.
시간 오차는 어느 정도까지 허용되나요?
정답은 작업 속도와 제어 주기에 따라 다릅니다. 허용값을 임의로 정하지 말고 지연을 바꿔 재생하며 성능이 무너지는 경계를 측정해야 합니다.
품질 검수는 전부 자동화할 수 있나요?
범위·시간·중복 등은 자동화할 수 있지만 의미가 잘못된 라벨, 작업 단계와 미묘한 좌표 오류는 동기 재생과 표본 사람 검수가 필요합니다.
데이터 품질 기준은 모델 종류보다 작업의 시간·좌표·안전 요구에서 시작해야 합니다.