사람 영상이 선명하고 복원한 장면이 그럴듯해 보여도, 그 데이터로 학습한 로봇 정책은 실패할 수 있다. 원인을 찾으려면 과제·로봇·동작 매핑 방식·제어기를 고정하고 상류 입력 하나씩만 바꿔야 한다. 깨끗한 복원, 의도적으로 손상한 복원, 후보 모델의 영상 복원을 같은 조건에 넣고 단계 사이에 넘겨진 데이터와 최종 정책 행동을 함께 비교한다. 최종 점수 하나만으로는 어느 단계가 망가졌는지 알기 어렵다.
NVIDIA Video to Data 챌린지는 복원과 로봇 동작 매핑을 별도의 평가 문제로 나눈다. 이 구분을 자체 시험에도 활용할 수 있다. 다만 입력 조건과 평가 기준이 무엇인지는 명확히 남겨야 한다.
영상에서 복원으로, 복원에서 로봇으로 넘어가는 정보
첫 경계에서는 제3자 시점의 RGB 영상이 시간에 따른 사람·물체의 4차원 상호작용으로 바뀐다. 사람과 물체의 형상, 물체 자세, 움직임, 접촉이 포함된다. 보기 좋은 메시라도 가려진 순간 물체 위치가 몇 센티미터 어긋나거나 접촉이 몇 프레임 늦으면, 다음 학습기는 그 오차를 동작 지시로 받아들일 수 있다.
다음 경계에서는 복원 결과를 로봇의 몸과 정책에 맞춘다. 챌린지는 깨끗한 다중 시점 입력, 합성 손상, 기존 복원 결과를 서로 다른 동작 매핑 등급으로 제공한다. 자체 조사에서도 입력을 아는 기준선을 만든 뒤 필드 하나를 손상시키고, 마지막으로 후보 복원으로 교체할 수 있다. 그 시험이 곧 챌린지 점수가 되는 것은 아니다.
개선 순서를 정할 때 이 구분이 중요하다. 매핑 전에 물체 자세가 틀렸다면 모델 용량을 늘려도 잘못된 목표를 외울 수 있다. 복원은 안정적이지만 손가락 명령이 관절 한계에서 잘린다면 카메라 모델을 바꿔도 해결되지 않는다. 필요한 것은 입력 영상과 마지막 성공 표시만이 아니라 각 단계의 경계에 남긴 기록이다.
사람 영상에서 필요한 장면을 찾는 색인 단계는 Figure Index 분석에서 다룬다. 여기서는 선택한 영상이 동작 데이터로 바뀌는 과정의 오류를 점검한다.
같은 과제에서 복원 입력만 바꾸는 실험
과제 하나와 평가용 영상 집합을 고른다. 장면·보정·대상 로봇·동작 매핑기·정책 학습 방식·제어기는 고정한다. 같은 산출물 형식으로 깨끗한 복원, 합성 손상, 후보 모델 복원을 저장한다. 합성 손상은 물체 자세, 접촉 시점, 가시성처럼 이름을 붙일 수 있는 필드를 측정 가능한 크기로 바꿔야 한다. ‘노이즈가 있는 영상’이라는 표지만으로는 정책이 견뎌야 했던 오차를 알 수 없다.
조건을 순서대로 비교한다. 후보 복원이 과제에 필요한 필드에서 깨끗한 입력과 얼마나 다른지 확인한다. 같은 매핑기를 돌려 관절 한계·충돌·접촉 제약 때문에 의도한 동작이 달라졌는지 본다. 그다음 동일한 평가 조건에서 정책 출력이나 과제 지표를 비교한다. 이는 제안하는 공학적 진단 절차이며, 실제 챌린지 제출이나 실행 결과가 아니다.
| 짝지은 실행에서 보인 현상 | 먼저 살필 경계 | 마지막 점수만 보면 놓치는 점 |
|---|---|---|
| 손이 물체를 가릴 때 물체 경로가 튄다 | 복원 단계의 자세 연속성과 물체 식별 | 학습 목표가 순간 이동했는데 정책 선택 오류로 보일 수 있다. |
| 손과 물체의 접촉 시점이 밀린다 | 접촉 표기와 시각 동기화 | 형상 정확도와 파지 타이밍 오류가 동시에 존재할 수 있다. |
| 깨끗한 입력과 후보 입력이 모두 같은 관절 한계에 걸린다 | 로봇 도달 범위와 동작 매핑 손실 | 자세 정확도를 높여도 최종 명령은 그대로일 수 있다. |
| 매핑된 궤적은 같지만 학습 행동이 갈린다 | 정책 학습과 평가 시드 | 오류가 복원보다 아래 단계에 있을 수 있다. |
원본 영상 식별자, 복원 버전, 좌표계, 타임스탬프, 물체 궤적, 접촉 순서, 매핑한 명령, 정책 버전을 함께 남긴다. 전체 평균만 보관하지 말고 실패 사례 몇 개의 원본 산출물도 보존한다. 그래야 다른 검토자가 화면만 보고 추측하지 않고 첫 차이가 생긴 지점을 따라갈 수 있다.
세 입력 등급의 점수를 바로 비교하면 안 되는 이유
현재 챌린지 페이지의 로봇 그라운딩 설명에는 세 등급 모두 깨끗한 다중 시점 물체 궤적과 비교한다고 적혀 있다. 반면 순위표 설명은 등급마다 기준 궤적이 다르며 점수를 서로 비교할 수 없다고 명시한다. 두 문장을 읽는 쪽에서 임의로 하나로 합쳐서는 안 된다.
‘이 복원 방식 때문에 점수가 올랐다’고 해석하기 전에 평가기 버전, 그 실행의 기준 궤적, 사용한 입력 등급을 기록해야 한다. 고정된 평가기나 주최 측의 명확한 설명으로 문구가 정리되기 전에는 같은 등급과 같은 기준 안에서만 방법을 비교한다. 등급 간 점수 차이에는 입력뿐 아니라 평가 기준 변화가 섞일 수 있다. 물체 추적 지표도 평가기에서 정의한 의미와 높고 낮음의 방향을 확인한 뒤 수용 기준으로 써야 한다.
공개 저장소 예제를 챌린지 실행으로 오해하지 않기
NVIDIA의 Video to Data 저장소는 단계별 산출물을 파일로 남겨 경계를 살펴보는 데 참고할 수 있다. 다만 현재 메인 README의 전체 경로 예제는 Sharpa 로봇 구성을 설명하고, 챌린지의 로봇 그라운딩 트랙은 G1·Dex3를 지정한다. 서로 다른 설정이다. 저장소 예제를 그대로 실행했다고 트랙 2의 결과가 되는 것은 아니다. 로봇 구성·과제 자료·평가기·입력 등급을 해당 프로토콜에 맞춰야 한다.
이 글에는 데이터셋 다운로드, 시뮬레이터 실행, 실제 로봇 실험에서 얻은 결과가 없다. 판단 순서는 간단하다. 첫 차이가 물체 자세나 접촉에서 생기면 복원을, 매핑 중에 생기면 동작 변환을, 매핑된 궤적이 같은데도 행동이 갈리면 정책 학습과 평가를 살핀다. 마지막 점수는 그 경계들과 기준 궤적을 명확히 한 다음에 해석할 수 있다.
자료 확인: 2026년 9월 29일.