Meta-World의 MT10과 ML10은 모두 이름에 10이 들어가지만 같은 능력을 평가하지 않습니다. MT는 정해진 여러 기술을 하나의 정책으로 배우는 문제이고, ML은 학습에서 제외한 과제 등에 적응하는 능력을 평가하는 메타 강화학습 문제입니다. 점수를 비교하기 전에 정책이 과제 정보를 받았는지, 무엇을 학습에서 제외했는지부터 확인해야 합니다.
또한 벤치마크 소개가 설명하는 평가 조건과 설치한 코드의 기본 옵션을 같은 것으로 보면 안 됩니다. 2026년 10월 15일 공식 문서와 현재 코드를 대조했을 때, MT의 위치 변화와 과제 ID 입력은 이 구분이 특히 필요한 항목이었습니다.
MT10의 열 가지 기술과 ML10의 새 과제 적응
Meta-World 공식 벤치마크 설명에서 MT10은 열 가지 과제를 함께 배우는 설정입니다. 문서는 현재 과제를 나타내는 원핫 벡터를 정책에 제공하도록 설명합니다. 원핫은 여러 항목 중 현재 항목 하나만 표시하는 표현으로, 여기서는 어떤 과제를 수행해야 하는지 알려주는 입력입니다.
ML10은 열 가지 메타 학습 과제와 별도로 남겨 둔 다섯 가지 시험 과제를 사용합니다. 문서는 물체와 목표 위치를 변화시키고 과제 ID를 입력으로 주지 않으며, 경험을 통해 과제를 파악하고 적응하는 설정으로 설명합니다. 따라서 MT10의 ‘여러 기술 습득’과 ML10의 ‘새 과제에 대한 적응’을 성공률 숫자 하나로 같은 시험처럼 취급할 수 없습니다.
예를 들어 이미 배운 서랍 열기와 문 열기 중 무엇을 할지 입력으로 알려주는 상황을 생각해 보겠습니다. 두 기술을 잘 선택하고 수행하는 능력은 중요하지만, 학습하지 않은 시험 과제에서 제한된 경험으로 행동을 조정하는 능력과는 다른 질문입니다. 이 예시는 설정의 의미를 설명하기 위한 것이며, 특정 Meta-World 시험 과제 목록이나 실제 실험 결과를 뜻하지 않습니다.
| 설정 | 학습에 사용하는 과제 | 별도 시험 과제 | 공식 설명이 겨냥하는 질문 |
|---|---|---|---|
| MT10 | 10개 | 새로운 시험 과제 분할 없음 | 정해진 여러 기술을 함께 배웠는가 |
| MT50 | 50개 | 새로운 시험 과제 분할 없음 | 더 많은 기존 기술을 함께 수행하는가 |
| ML10 | 10개 | 5개 | 학습 밖 과제에 적응하는가 |
| ML45 | 45개 | 5개 | 넓은 학습 과제 집합에서 배운 것을 새 과제에 활용하는가 |
여기서 과제 수는 평가 질문을 설명하는 구성입니다. ‘50이 10보다 크므로 더 일반화했다’거나 ‘45개로 학습했으니 언제나 더 어렵다’는 성능 순위를 뜻하지 않습니다. MT 점수가 높다는 사실만으로 ML의 적응 능력을 확인할 수 없고, ML 점수만으로 배포하려는 모든 기존 기술의 성능을 설명할 수도 없습니다.
문서의 고정 위치 설명을 모든 실행에 적용하면 안 된다
벤치마크 설명 페이지는 MT10·MT50에서 물체와 목표 위치를 고정해 기술 습득에 집중한다고 적습니다. 하지만 확인한 공식 코드의 고정 커밋에서 MT10은 _make_tasks()를 호출합니다. 이 함수는 환경별로 50개의 서로 다른 무작위 벡터를 생성해 Task 객체를 만듭니다.
따라서 소개 페이지의 문구만 근거로 ‘현재 MT10은 언제나 하나의 위치만 사용한다’고 말할 수 없습니다. 이 코드에서 생성하는 개별 Task와 ‘열 가지 조작 과제’도 같은 수를 세는 단위가 아닙니다. 열 가지 환경 종류에 여러 목표·초기화 조건이 연결될 수 있다는 점을 구분해야 합니다.
과제 ID에도 비슷한 주의가 필요합니다. 같은 커밋의 Gymnasium 벡터 환경 등록 경로에서는 use_one_hot=False가 기본 인자로 적혀 있고, 원핫 래퍼는 해당 옵션이 참일 때 적용됩니다. 문서가 과제 ID를 제공하는 평가 방식을 설명한다고 해서, 모든 생성 호출이 자동으로 그 입력을 붙인다고 가정해서는 안 됩니다.
이 대조는 소개 문서를 폐기하라는 뜻이 아닙니다. 문서는 무엇을 비교하려는 벤치마크인지 설명하고, 선택한 코드와 옵션은 실제 실행이 그 조건을 구현하는지 확인하는 근거가 됩니다. 이 글에서는 코드만 읽었으며 환경 생성이나 관측 배열을 직접 실행해 검증하지 않았습니다.
과제 ID와 목표 위치는 서로 다른 정보다
과제 ID는 ‘어떤 종류의 일을 하는가’를 나타내고, 목표 위치는 ‘어디에 도달해야 하는가’ 같은 구체적 조건입니다. 둘을 모두 ‘목표 정보’로 뭉뚱그리면 정책이 무엇을 알고 행동했는지 놓치기 쉽습니다.
확인한 코드의 _MT_OVERRIDE와 _ML_OVERRIDE는 목표 위치를 관측에 포함하는 조건도 구분합니다. MT는 partially_observable=False, ML은 True로 설정하며, 코드 주석은 각각 목표 위치의 포함과 제외를 설명합니다. 원핫 옵션의 존재 여부와 이 관측 조건은 따로 읽어야 합니다.
예를 들어 두 정책 중 하나는 과제 ID를 받고 다른 하나는 받지 않는다면, 점수 차이에 영향을 줄 수 있는 입력 조건이 이미 다릅니다. 반대로 둘 다 ID를 받지 않는다는 이유만으로 같은 실험이 되는 것도 아닙니다. 학습·시험 과제 분할, 목표 정보와 적응에 허용한 경험이 다를 수 있기 때문입니다.
메타 학습에서 경험으로 과제를 알아낸다는 설명은 실제 평가 절차와 연결돼야 합니다. 적응 전 성능을 보고한 것인지, 추가 경험 뒤의 성능인지가 불분명하면 점수의 의미도 불분명해집니다. 비교하려는 연구의 적응 절차를 확인하고 같은 조건의 결과끼리 읽어야 합니다.
선택은 과제 수가 아니라 연구 질문에서 시작한다
이미 정한 여러 조작을 하나의 정책으로 수행하고 싶은 경우에는 MT의 질문이 가깝습니다. 학습에서 제외한 조작에 적응하는 방법을 비교하려면 ML의 분할과 적응 절차가 필요합니다. 둘을 함께 사용해 다른 능력을 살펴볼 수 있지만, 서로 대신하는 지표로 쓰지는 않는 편이 맞습니다.
실행을 준비할 때 가장 먼저 적을 것은 벤치마크 이름, 실제 학습·시험 분할, 정책에 전달하는 과제 ID와 목표 정보, 그리고 시험 중 허용한 적응 경험입니다. 위치 변화는 소개 문구에서 추정하지 말고 사용할 버전의 Task 생성과 선택 경로를 확인하세요.
강화학습의 보상과 경험이 정책을 바꾸는 기본 원리는 로봇 모방학습과 강화학습 차이에서 이어서 볼 수 있습니다. Meta-World 점수를 해석할 때는 그 기본 원리 위에 ‘정책에 무엇을 알려주었고 무엇을 처음 만나게 했는가’를 더해야 합니다.