‘컵을 가리켜라’와 ‘컵을 집어 지정 위치에 놓아라’는 같은 공간 추론 문제가 아니다. 첫 과제는 영상 속 지시 대상과 좌표를 연결하면 되지만, 둘째는 가림 뒤에도 물체를 추적하고 로봇 좌표로 변환하며 행동 결과까지 판단해야 한다. 모델이 말로 그럴듯한 설명을 내는 것과 로봇이 안전한 위치를 고르는 것도 분리해야 한다.
평가를 고르는 사람은 실패 비용부터 적는다
연구팀은 모델 간 표현학습 성능을 비교하려 하고, 제품팀은 센서·지연·좌표 인터페이스를 결정하며, 현장 운영자는 잘못된 지시나 놓기 판정이 어떤 손실을 만드는지 본다. 세 집단이 같은 ‘공간 지능’ 점수를 요구하면 시험은 모호해진다. 먼저 선택 대상, 행동 권한, 허용 가능한 사람개입과 안전정지 조건을 고정한다.
평가 단위도 문장 하나가 아니라 사건으로 만든다. 사건에는 원시 영상과 카메라 자세, 물체 ID·3D 위치·가시성, 지시문, 로봇 행동, 접촉·힘 또는 작업 상태와 최종 성공 라벨이 들어간다. 같은 사건에서 pointing, 3D detection, multi-view consistency, success detection을 각각 계산해야 어느 연결이 끊겼는지 알 수 있다.
시험 계약에는 입력 해상도·프레임 수·센서 시야, 응답 형식과 제한시간도 넣는다. 모델마다 좌표를 픽셀·정규화 값·텍스트 상자로 다르게 내므로 공통 변환기가 결과를 바꾸지 않는지 단위시험한다. 추론 실패, 형식 오류와 시간초과를 표본에서 빼지 않고 각각 별도 실패로 센다.
2026년 8월 26일 기준 Meta의 V-JEPA 2 공식 발표는 물리적 이해 벤치마크와 행동조건 로봇 실험을 함께 보고한다. V-JEPA 2 공식 저장소는 코드와 체크포인트를 공개한다. 이는 평가축을 설계할 근거이지만 발표된 각 수치는 해당 데이터·과제·체크포인트 조건에 한정된다. 새 공장 카메라나 로봇의 인수값으로 그대로 옮기지 않는다.
pointing은 언어와 픽셀의 최소 접점을 시험한다
pointing 과제는 ‘빨간 손잡이’, ‘작업자가 방금 놓은 부품’처럼 지시 대상을 영상의 점이나 영역으로 반환하게 한다. 단순한 장면에서 맞는지보다 비슷한 물체가 여러 개 있을 때 지시어의 속성·관계·시간 표현을 구분하는지가 중요하다. 정답은 한 픽셀만 두지 말고 실제 허용영역과 애매한 경계를 표시한다.
2D 지시가 필요한 원격 보조·사람 확인 화면에는 pointing이 경제적인 첫 관문이다. 그러나 로봇이 그 점으로 움직이려면 깊이, 카메라 보정, 로봇–카메라 외부변환과 접근 가능성이 추가된다. 픽셀 적중률이 높아도 잘못된 깊이 또는 가려진 면을 선택하면 실물 명령은 실패한다.
점 오차는 영상 대각선 비율만 보지 않는다. 물체 크기가 다른 표본에서는 같은 20픽셀도 의미가 달라 대상 영역 적중, 중심거리와 잘못된 객체 선택을 함께 센다. 관계 지시에서는 기준 객체와 최종 대상을 각각 맞췄는지 기록해 언어 오류와 검출 오류를 가른다.
표본에는 동일색 다중 객체, 일부 가림, 거울·반사, 작은 부품, 카메라 흔들림과 부정문을 넣는다. 정답 작성자 간 불일치도 기록한다. 사람이 동일 장면에서 합의하지 못한 표현을 모델의 확정 오답으로 세면 평가 신뢰도가 낮아지므로, 모호 표본은 재작성하거나 복수 정답으로 관리한다.
3D·다중시점·성공 판정은 서로 다른 운영 질문이다
3D detection은 물체 중심이나 상자뿐 아니라 좌표계·단위·방향과 신뢰도를 요구한다. 카메라 좌표의 5cm 오차가 로봇 베이스 좌표에서 어떻게 보이는지, 물체 크기·파지 여유보다 작은지 판단한다. 검출 상자가 겹치는 정도만 보고 실제 접근점의 오차를 빼면 파지 실패를 설명할 수 없다.
multi-view 평가는 앞 카메라에서 본 물체와 옆 카메라에서 본 물체가 같은 ID·위치로 유지되는지 묻는다. 정답은 동기화된 시각, 각 카메라의 보정, 독립 측량 또는 치수 표적을 포함해야 한다. 가림 중 ID가 바뀌거나 오래된 위치가 남는 오류는 정적 프레임 정확도에서 드러나지 않는다.
여러 시점 결과를 합칠 때 한 카메라의 답을 다른 카메라의 정답으로 복사하지 않는다. 독립 정답과 좌표변환 잔차를 남기고 두 시점이 모순될 때 모델이 확신을 낮추는지 본다. 시간동기가 맞지 않은 이동체는 좋은 모델도 다른 위치를 낼 수 있어 센서 오류와 추론 오류를 분리한다.
success detection은 행동이 끝났다는 신호와 목표가 달성됐다는 판단을 나눈다. 그리퍼가 닫혔다고 집기가 성공한 것은 아니며, 화면에서 물체가 사라졌다고 지정 위치에 놓인 것도 아니다. 영상 외에 관절·그리퍼·힘, 작업대 센서나 MES 상태를 정답으로 사용할 수 있고, 센서가 서로 충돌할 때 사람검토 규칙을 둔다. Google DeepMind의 Gemini Robotics-ER 공식 페이지가 설명하는 공간 추론·진행 추적 기능도 제품 설명과 공개 평가 범위로 한정해 읽는다.
한 모델 점수 대신 실패 후 대안을 연결한다
평가표는 가장 높은 평균을 고르는 순위표가 아니라 실패가 어느 업무를 막는지 보여 주는 라우팅 표여야 한다. 위험한 거짓양성은 별도 상한을 두고, 확신이 낮을 때 정지하거나 사람에게 질문하는 것도 올바른 결과로 센다.
| 평가 축 | 필수 정답 | 대표 실패 | 실패 시 대안 |
|---|---|---|---|
| 2D pointing | 대상 영역·관계 라벨 | 유사 객체를 잘못 지시 | 사람 확인·선택지 재질문 |
| 3D detection | 좌표·방향·크기·가시성 | 척도·프레임 변환 오류 | 깊이 재취득·측량 기준지도 |
| multi-view | 동기 시각·카메라 자세·객체 ID | 가림 뒤 ID 전환 | 단일 신뢰 시점·추적 재초기화 |
| success detection | 행동·접촉·최종 상태 | 동작 종료를 성공으로 오인 | 힘·상태 확인·사람 검수 |
| 전체 작업 | 목표와 안전제약 | 부분 점수는 높으나 작업 실패 | 검증된 기준 정책·수동 복구 |
예를 들어 pointing은 맞고 3D 변환이 틀리면 언어모델을 다시 학습하기 전에 보정·시간동기를 고친다. 3D 위치는 맞지만 success detection이 틀리면 목표 상태 센서와 종료 라벨을 보강한다. 이 분해가 없으면 모든 실패가 ‘추론 부족’으로 뭉쳐 데이터와 비용이 엉뚱한 곳에 투입된다.
최종 라우팅은 난이도 사다리와 회귀시험으로 닫는다
파일럿은 정적 단일시점에서 시작해 다중시점, 가림·이동, 행동 전후, 장기 서브태스크 순으로 올린다. 각 단계의 좌표·지연·거짓허용 상한을 통과하지 못하면 다음 행동 권한을 열지 않는다. 모델 업그레이드 뒤에는 동일 사건을 재생하고 정답·센서·코드 버전을 함께 고정한다.
난이도는 한 번에 여러 조건을 섞지 않고 최소쌍으로 올린다. 같은 컵의 색만 바꾸고, 기준 객체 하나만 옮기고, 카메라 한 대만 가리며, 성공 상태에서 물체 위치만 허용범위 밖으로 둔다. 점수 하락이 어휘·기하·동일성·결과판정 중 어디서 생겼는지 해석할 수 있다.
- 동일 장면에서 언어만 바꾼 최소쌍으로 속성·관계 이해를 확인한다.
- 동일 지시를 카메라와 로봇 좌표 모두에서 평가해 변환오차를 분리한다.
- 가림 전후 객체 ID와 위치의 연속성을 측정하고 오래된 상태의 만료시간을 시험한다.
- 동작 종료·물체 접촉·목표 상태를 별도 라벨로 두어 성공 판정의 근거를 남긴다.
- 평균점수 외에 위험한 거짓양성, 판단 보류, 사람개입과 복구시간을 함께 공개한다.
- 새 모델은 로봇 VLA 평가 가이드의 작업 성공·안전·지연 기준선과 같은 사건에서 비교한다.
현장 채택은 네 축이 모두 최고일 때가 아니라 필요한 작업에서 기능경계와 폴백이 닫힐 때 결정한다. 단순 지시 화면은 pointing과 사람 확인만으로 충분할 수 있고, 자율 조작은 3D·다중시점·행동 성공 확인이 모두 필요하다. 지역이나 언어가 바뀌면 지시문 표현과 작업 관행을 새 표본으로 검증한다.
로봇 공간 추론 모델은 현장과 한국어에서 어떻게 검증하나
공개 공간 추론 모델을 바로 로봇 셀에 연결해도 되나요?
공개 모델·API는 후보를 빠르게 시험하는 수단이다. 쓰기 권한을 열기 전 카메라 보정, 좌표·지연, 위험한 거짓양성, 판단 보류와 안전 폴백을 현장 사건으로 검증해야 한다. 제품 설명이나 벤치마크 점수만으로 실물 안전·가용성을 확정할 수 없다.
한국어 지시도 영어 벤치마크와 같은 점수로 볼 수 있나요?
아니다. 지시 대상의 생략, 상대 위치 표현, 공정 용어와 존칭·작업 관행이 달라질 수 있다. 동일 장면에 한국어 현장 지시와 모호성 라벨을 만들고 작성자 간 합의, pointing·3D·행동 결과를 별도로 재평가해야 한다.
자료 마지막 확인: 2026년 8월 26일