RH20T로 모델 입력을 만들 때는 로봇 구성에 따라 존재하는 센서와 배열 크기를 먼저 정하고, 사용할 깊이 데이터의 배포본을 따로 선택해야 합니다. 로봇 구성은 어떤 값이 관측되는지를 바꾸고, 데이터 배포본은 그 관측을 어떤 해상도와 압축 방식으로 저장했는지를 바꿉니다.
RH20T 공식 데이터 설명은 손끝 촉각이 Cfg. 7에만 존재한다고 명시합니다. 또한 관절각·관절 토크·그리퍼 Cartesian pose의 크기는 로봇 종류에 따라 달라진다고 설명합니다. 모든 에피소드를 하나의 고정 센서 구성으로 읽기 전에 이 차이를 반영해야 합니다.
같은 열 이름도 배열의 의미를 모두 정하지는 않는다
공식 모달리티 표에서 손끝 촉각의 크기는 2 × 16 × 3, 주파수는 200 Hz로 제시됩니다. 그러나 이 항목이 표에 있다는 사실과 모든 로봇 구성에 그 배열이 있다는 사실은 다릅니다. 실제 가용 범위는 Cfg. 7이라는 구성 조건에 결합되어 있습니다.
관절 정보도 마찬가지입니다. 로봇 종류에 따라 배열 크기가 달라지므로 joint라는 이름만 보고 동일한 길이와 동일한 관절 의미를 가정하면 서로 다른 제어 대상을 한 입력 위치에 섞을 수 있습니다. 구성 식별자는 파일을 찾는 이름에 그치지 않고, 값을 해석하는 정보로 입력 준비 과정에 남아 있어야 합니다.
모델이 고정 길이 텐서를 요구한다면 여러 로봇의 원래 배열을 그 공통 입력에 어떻게 대응시킬지 정해야 합니다. 예를 들어 구성별 인코더를 쓰거나, 패딩한 항목과 실제 관측 항목을 구분하는 방식을 설계할 수 있습니다. 어느 방식을 선택해도 원래의 구성과 항목 의미를 알아야 대응 관계를 만들 수 있습니다.
가상 배치에서 ‘촉각 없음’과 ‘관측값 0’을 나누기
Cfg. 7의 샘플 A와 다른 구성의 샘플 B를 한 배치로 묶는다고 가정하겠습니다. A에는 촉각 관측이 있고, B에는 그 센서 모달리티가 없습니다. B의 빈 자리를 숫자 0으로만 채우면, 모델은 그 값이 센서에서 나온 것인지 배열 모양을 맞추기 위해 넣은 것인지 구분하기 어렵습니다.
이를 표현하는 한 설계는 값 배열과 함께 가용성 마스크를 전달하는 것입니다.
| 가상 샘플 | 촉각 값 슬롯 | 가용성 정보가 전달하는 뜻 |
|---|---|---|
| A: Cfg. 7, 촉각 관측 사용 | 해당 관측값 | 이 슬롯을 센서 입력으로 해석 |
| B: 촉각 없는 구성 | 패딩값 | 이 슬롯은 관측된 촉각이 아님 |
이는 데이터를 모델 입력으로 바꾸기 위한 설계 예입니다. 공식 파서가 위 마스크를 자동으로 만든다는 설명은 아닙니다. 핵심은 배열 크기를 맞추는 처리와 관측의 존재 여부를 보존하는 처리를 함께 설계하는 것입니다.
가용성 정보를 붙이면 모델이나 전처리 단계에서 없는 모달리티를 제외하거나 별도 표현으로 처리할 수 있습니다. 측정값이 우연히 0인 경우에는 센서가 존재한다는 정보가 그대로 남습니다. 같은 숫자 배열이라도 이 부가 정보에 따라 의미가 달라집니다.
깊이 영상은 픽셀 수와 값 보존을 별도로 비교한다
공식 페이지에는 두 축소 배포본에 관한 서로 다른 설명이 있습니다.
| 배포본 | 문서가 설명하는 저장 특성 | 깊이 입력을 고를 때의 의미 |
|---|---|---|
| 640 × 360 축소본 | 이 버전의 depth에는 압축 때문에 부정확한 값이 생길 수 있다고 명시 | 해상도와 함께 depth 압축의 영향을 고려 |
| 320 × 180 축소본 | RGB는 비디오 압축, depth는 무손실 압축 | 문서는 정밀한 3D 정보를 활용할 용도로 이 버전을 안내 |
320 × 180은 640 × 360보다 가로·세로가 각각 절반이므로 픽셀 수는 4분의 1입니다. 이 산술은 공간 표본 수의 차이를 보여 줍니다. 한편 무손실 depth 압축은 저장하는 깊이 값을 압축 과정에서 보존한다는 별개의 성질입니다. 픽셀이 더 많다는 이유만으로 각 픽셀의 깊이 값도 더 잘 보존된다고 판단할 수는 없습니다.
예를 들어 깊이를 이용해 3D 점을 만드는 입력에서는 픽셀 위치와 그 픽셀의 깊이 값이 모두 필요합니다. 어느 쪽이 중요한지는 다루려는 물체의 크기와 후속 계산에 따라 달라집니다. RH20T 문서의 두 배포본 설명은 “더 큰 파일이 더 정밀하다”는 한 줄 비교 대신, 공간 해상도와 깊이 값의 압축 특성을 따로 선택하도록 돕습니다.
구성 ID와 배포본을 입력의 출처로 남긴다
같은 작업 에피소드라도 어떤 로봇 구성에서 왔는지와 어느 배포본으로 읽었는지가 입력을 결정합니다. 구성 ID는 센서의 존재와 배열 의미를, 배포본은 영상의 크기와 압축 특성을 설명합니다. 전처리를 거쳐 텐서 모양이 같아진 뒤에도 이 두 정보가 남아 있으면, 서로 다른 샘플이 어떤 과정을 거쳐 같은 입력 형식으로 들어왔는지 추적할 수 있습니다.
그다음에는 실제로 함께 쓰는 모달리티를 시간과 좌표에 맞춰 결합해야 합니다. 이 단계는 RH20T의 시연 쌍·캘리브레이션·시간 정렬에서 다룹니다. 여기서 정한 입력의 가용 범위 위에 시간 정렬을 적용하는 순서입니다.
이 글은 2026년 10월 16일 확인한 RH20T 공식 데이터·배포 설명을 바탕으로 작성했습니다. 데이터셋을 내려받거나 파서·학습 모델을 실행하지 않았습니다.