RLBench에서 이미지 크기나 로봇 팔을 바꾸는 것은 가능하지만, 그 결과를 기존 벤치마크와 같은 조건으로 볼 수는 없습니다. 저장된 시범 이미지를 줄이는 처리와 시뮬레이터가 처음부터 작은 이미지를 렌더링하는 처리는 다릅니다. 팔을 교체하면 같은 작업 이름 아래에서도 도달 범위와 조작 조건이 달라집니다.
따라서 먼저 정할 것은 ‘설정이 적용됐는가’보다 ‘무엇의 효과를 비교할 것인가’입니다. 이미지 입력 크기의 효과를 보려는 실험과 특정 로봇으로 과제를 수행하려는 실험은 준비해야 할 시범과 비교 기준이 다릅니다.
저장 시범의 64×64와 새로 렌더한 64×64
2026년 10월 15일 확인한 RLBench 공식 README의 Gotchas 항목은 기본 이미지 관측 크기를 128×128로 설명합니다. 다른 크기를 지정하면 장면 카메라는 그 크기로 렌더링하지만, 디스크에 있는 시범 이미지는 요청 크기로 리사이즈됩니다. 문서는 이 차이로 저장 시범에 작은 영상 아티팩트가 생길 수 있어, 실제 환경에서 사용할 크기로 시범을 다시 수집하는 편을 권합니다.
가령 기존 128×128 시범을 이용하는 행동 복제 모델의 입력을 64×64로 줄인다고 합시다. 학습 데이터는 큰 이미지를 줄여 얻은 픽셀이고, 정책이 실행 중 받는 관측은 카메라가 직접 만든 64×64 픽셀일 수 있습니다. 배열의 모양은 같아도 생성 과정까지 같아진 것은 아닙니다.
이 차이가 특정 모델의 성공률을 얼마나 바꾸는지는 별도 실험의 질문입니다. 문서의 경고만으로 성능 저하의 크기나 방향을 단정할 수 없습니다. 다만 관측 분포를 맞춰야 하는 실험에서 두 경로를 구분하지 않으면, 입력 크기의 효과와 저장 영상의 변환 효과가 한 결과에 섞입니다.
해상도 변경의 목적에 따라 선택이 달라진다
저장된 데이터를 재수집하지 않고 입력 크기만 바꾸는 연구도 가능합니다. 그때의 질문은 ‘이 저장 데이터에 이 전처리를 적용하면 어떻게 되는가’입니다. 반면 실제 실행의 카메라 관측과 맞는 시범을 만들려는 목적이라면, 사용할 해상도로 수집한 데이터가 더 직접적인 비교 대상입니다.
| 바꾸려는 것 | 먼저 확인할 데이터 경로 | 결과를 설명할 때 구분할 것 |
|---|---|---|
| 기존 시범의 입력 크기 | 저장 이미지 → 리사이즈 → 모델 | 원본 해상도와 변환 후 해상도 |
| 정책 실행의 카메라 크기 | 시뮬레이터 카메라 → 모델 | 카메라가 실제 렌더링한 해상도 |
| 학습·실행 관측의 일치 | 같은 설정으로 수집한 시범과 실행 관측 | 리사이즈 시범을 섞었는지 여부 |
표는 실험을 구분하기 위한 제안이며, 이 세 경로의 성능을 측정한 결과가 아닙니다. 시범을 새로 수집한다면 해상도 외에 데이터 양이나 장면 구성도 바뀔 수 있으므로, 성공률 차이를 해상도 하나의 효과로 설명하려면 그 조건도 맞춰야 합니다.
지원되는 팔이라고 모든 과제를 풀 수 있는 것은 아니다
같은 README의 Swapping Arms 항목은 기본 Franka Panda를 다른 팔로 바꾸는 기능을 안내하면서, 교체 후 과제 해결 가능성은 보장하지 않는다고 설명합니다. 예시로 Mico의 작업 공간이 Franka보다 작다는 점을 듭니다. 표준 벤치마크에는 Franka Panda를 유지하라는 지침도 있습니다.
여기서 ‘팔 교체 지원’은 설정으로 다른 로봇을 넣을 수 있다는 뜻입니다. 이전 팔이 성공한 장면을 새 팔도 모두 해결한다는 뜻까지 포함하지 않습니다. 같은 물체를 같은 위치에 놓았더라도 새 팔이 그 위치에 닿지 못하면, 정책이 학습을 잘못한 경우와 과제가 그 로봇에서 풀리지 않는 경우를 먼저 나눠야 합니다.
예를 들어 물체를 집어 옆 선반으로 옮기는 과제를 다른 팔로 옮긴다고 합시다. 정책 비교 전에 새 팔의 동작 범위에서 목표 배치와 필요한 자세가 가능한지 확인할 이유가 생깁니다. 이는 특정 팔의 실제 실패 사례가 아니라, 공식 문서가 경고하는 해결 가능성 문제를 구체화한 가상 사례입니다.
팔 교체의 목적이 보유한 장치에 맞춘 연구라면 사용자 정의 조건의 결과로 보고하면 됩니다. 표준 RLBench 점수와 직접 비교하려면 팔을 유지하고 다른 평가 조건도 맞춰야 합니다. 사용자 정의 팔의 결과를 덧붙일 수는 있지만, 서로 같은 시험을 치렀다는 식의 순위 해석은 피해야 합니다.
다음 데이터를 모으기 전에 정할 두 가지
첫째, 모델이 받을 이미지가 저장 시범의 변환본인지, 같은 설정으로 새로 수집한 관측인지 정하세요. 둘째, 표준 Franka Panda 조건을 평가할지, 다른 팔에서의 과제 수행 가능성을 연구할지 정하세요. 두 변경을 한 번에 적용하고 이전 점수와 비교하면 무엇이 차이를 만들었는지 구분하기 어려워집니다.
관측의 시간 동기화나 행동 좌표까지 점검하려면 로봇 학습 데이터 품질 검수가 다음 단계입니다. 여기서는 그 일반 검수에 앞서 RLBench의 해상도 처리와 팔 교체가 어떤 비교 조건을 바꾸는지에 초점을 맞췄습니다.
이 글은 공식 문서에 근거한 설정 해석입니다. README의 설치 안내는 CoppeliaSim 4.1.0과 PyRep을 전제로 하며, 최신 운영체제·패키지 조합의 설치나 시범 재수집을 직접 시험한 기록은 아닙니다.