RoboCasa의 현재 리더보드에서 Composite-Unseen은 사전학습에서 제외한 복합 작업을 평가한다는 뜻입니다. 평가 주방까지 처음 본다는 뜻은 아닙니다. 보드는 Human300으로 학습한 정책을 사전학습 주방에서 평가한다고 명시하므로, 이 열의 성적은 익숙한 주방 환경에서 새로운 복합 작업으로 전이하는 능력으로 읽어야 합니다.
이 글은 2026년 10월 15일 확인한 RoboCasa 공식 리더보드의 다중 작업 평가 조건을 설명합니다. 페이지의 갱신 표시는 2026년 10월 14일입니다. 아래 설명은 공개된 평가 조건을 해석한 문서 분석입니다.
세 분할은 작업의 종류와 학습 포함 여부를 나눕니다
RoboCasa365 전체는 365개 일상 작업과 2,500개 주방 환경을 설명하지만, 현재 보드가 보고하는 것은 그 전체를 그대로 시험한 점수가 아닙니다. 보드는 50개 목표 작업으로 구성된 다중 작업 벤치마크를 사용하며, 그 작업들을 아래 세 분할로 나눕니다.
| 평가 분할 | 작업 수 | 해당 작업이 사전학습에 포함됐는가 | 현재 보드의 평가 주방 |
|---|---|---|---|
| Atomic-Seen | 18 | 포함 | 사전학습 주방 |
| Composite-Seen | 16 | 포함 | 사전학습 주방 |
| Composite-Unseen | 16 | 제외 | 사전학습 주방 |
Atomic과 Composite는 단위 조작 작업과 더 긴 복합 주방 작업을 구분합니다. Seen과 Unseen은 이 보드에서 작업이 사전학습에 들어갔는지를 구분합니다. 따라서 Composite-Seen과 Composite-Unseen을 비교할 때 핵심 차이는 복합 작업의 학습 포함 여부입니다. 한쪽만 새로운 주방으로 옮긴 비교가 아닙니다.
보드는 Human300이 300개 작업과 2,500개 사전학습 주방에 걸친 데이터라고 설명합니다. Composite-Unseen의 16개 작업은 여기서 제외하고 별도 추가 학습 없이 평가하는 zero-shot 대상으로 둡니다. 여기서 zero-shot은 정책이 아무 로봇 데이터도 학습하지 않았다는 뜻이 아니라, 이 평가 대상 복합 작업을 Human300 사전학습에서 보지 않았다는 조건입니다.
예를 들어 익숙한 주방에서 학습에 없던 동작 조합을 수행하는 상황과, 처음 보는 주방에서 이미 배운 작업을 수행하는 상황을 나눠 생각할 수 있습니다. 전자는 작업 조합의 변화이고 후자는 환경의 변화입니다. 이는 두 축을 설명하기 위한 예시이며, 공식 작업 목록의 특정 항목이나 실제 실행 결과를 대신하는 것은 아닙니다.
데이터셋의 새 주방과 현재 보드의 평가 주방은 구분해야 합니다
혼동하기 쉬운 이유는 별도의 공식 데이터셋 설명에도 같은 세 분할 이름이 나오기 때문입니다. RoboCasa 데이터셋 개요는 목표 작업 데이터를 사전학습과 구별되는 10개 target 주방에서 수집했다고 설명합니다. 그 데이터에도 Atomic-Seen, Composite-Seen, Composite-Unseen이라는 이름이 붙습니다.
반면 현재 리더보드의 평가 설명은 50개 목표 작업을 사전학습 주방에서 평가한다고 명시합니다. 목표 데이터셋이 미관측 주방을 포함한다는 설명을 곧바로 보드의 실험 조건으로 옮기면, 실제로 시험한 일반화 범위가 달라집니다. 데이터가 제공되는 구성과 특정 보드가 선택한 평가 구성을 구분해야 합니다.
두 문서를 함께 읽을 때는 “Unseen이라고 적혔으니 작업과 주방을 모두 처음 봤다”고 합치지 않는 것이 중요합니다. 분할 이름만으로 환경 조건이 결정되지 않습니다. 현재 보드의 Composite-Unseen 열만으로 새로운 주방에서의 성공률을 얻을 수 없으며, 새 주방으로의 전이는 그 환경을 명시한 별도 평가 결과가 필요합니다.
Human300 조건은 추가로 쓸 수 있는 RoboCasa 데이터를 제한합니다
현재 보드의 학습 데이터 규칙은 사용할 수 있는 RoboCasa 데이터를 변경하지 않은 pretrain_human300으로 제한합니다. subtask annotation을 추가하지 말고, 그 외 RoboCasa 데이터로 미세조정하지 말라는 조건도 명시합니다. 목표 복합 작업의 예제를 더 학습한 뒤 같은 Composite-Unseen 열에 놓는다면, 해당 작업을 학습에서 제외한 원래 조건을 유지했다고 볼 수 없습니다.
이 때문에 데이터가 공개되어 있다는 사실과 이 보드의 학습에 사용해도 된다는 판단은 다릅니다. 특정 작업의 풀이 과정을 세부 단계로 알려 주는 주석이나 목표 작업 데이터는 학습에 유용할 수 있지만, 현재 보드가 비교하려는 입력 조건을 바꿀 수 있습니다. 기능적으로 읽을 수 있는 데이터라는 이유만으로 제출 조건까지 충족하는 것은 아닙니다.
다만 이 규칙의 표현은 허용되는 RoboCasa 데이터에 관한 것입니다. 이를 모든 모델의 외부 사전학습 데이터나 출발 체크포인트까지 동일하다는 뜻으로 확대하면 안 됩니다. 보드의 제출 요건도 새로운 데이터 혼합과 학습 방식의 기여를 인정하며, 기존 체크포인트를 확장했다면 무엇을 고정하고 무엇을 학습했는지와 사용한 데이터 양을 밝히도록 요구합니다.
따라서 두 모델이 Human300 규칙을 지켰다는 사실은 RoboCasa 데이터 조건을 맞췄다는 근거입니다. 모델 구조, 외부 사전학습과 계산 자원까지 통제한 실험이라는 근거는 아닙니다. 무엇의 효과를 비교하려는지에 따라 제출 세부 정보의 학습 설정을 함께 읽어야 합니다.
Overall 상승을 새로운 복합 작업의 향상으로 단정할 수는 없습니다
보드는 Overall을 50개 작업의 평균 성공률로 설명합니다. 세 분할은 각각 18개, 16개, 16개 작업이므로, 화면에 표시된 세 분할 점수를 동일한 가중치로 평균 내는 것이 공식 계산이라고 가정해서도 안 됩니다. 여기서는 표시된 반올림 수치로 Overall을 재계산하지 않습니다.
Overall이 높아졌더라도 변화가 Atomic-Seen에 집중됐는지, 학습한 복합 작업에서 생겼는지, 제외했던 복합 작업으로 전이됐는지는 세 열을 나눠 봐야 알 수 있습니다. 특히 목표가 새로운 작업 조합이라면 Composite-Unseen을 함께 봐야 합니다. 그렇다고 그 열 하나가 실제 가정 전체의 작업 완수 능력을 대표하는 것도 아닙니다.
이 구분은 로봇 VLA 평가에서 일반화 축을 나누는 방법을 RoboCasa의 구체적인 데이터 조건에 적용한 것입니다. 현재 보드가 뒷받침하는 결론은 Human300 조건 아래 사전학습 주방에서 제외된 복합 작업을 얼마나 수행했는가입니다. 처음 보는 주방, RoboCasa 전체 365개 작업, 실제 집에서의 성능은 각각 다른 시험 범위로 남습니다.