월드모델의 가장 위험한 실패는 화면이 깨지는 장면만이 아니다. 가려진 물체가 사라졌다고 믿거나, 미끄러질 물체가 붙어 있다고 예측하고, 실제보다 큰 통로를 상상하거나, 긴 행동 뒤 출발상태를 잊으면 로봇 계획은 자연스러운 영상 속에서 잘못된다. 그래서 평균 화질보다 작은 반례 장면을 반복해 실패 경계를 찾아야 한다.
사업문제는 실패를 찾지 못한 채 계획기에 연결하는 것이다
물체 영속성은 가림 전후 같은 물체의 위치·상태를 유지하는 능력이다. 접촉은 충돌·마찰·지지·변형의 결과를 맞히는 능력이고, 척도는 실제 거리·크기·속도를 보존하는 능력이다. 장기 일관성은 여러 행동 뒤 장면과 목표가 모순되지 않는지, 다중 에이전트는 다른 사람·로봇의 반응을 함께 예측하는지 묻는다.
실패 카탈로그는 모델 개발팀만의 벤치마크가 아니다. 작업 소유자는 어떤 오답이 제품손상·충돌·중단을 만드는지 정하고, 안전팀은 실행을 막을 경계를, 운영팀은 재관측·사람인계와 사건보존 절차를 정한다. 모델 점수와 사업 손실을 같은 표에서 연결한다.
카탈로그에는 모델이 답을 보류한 사건도 남긴다. 불확실성을 낮게 속여 행동한 거짓확신과 위험을 감지해 안전하게 멈춘 보류는 비용이 다르다. 작업마다 자동 실행·재관측·기준 정책·사람인계의 허용 횟수와 최대 대기시간을 정해 정상적인 보수성과 불필요한 중단을 구분한다.
기준 비용은 기존 센서·규칙·사람 확인의 시간이다
월드모델 도입 전에는 깊이·추적·충돌검사, 공정센서, 작업자 확인과 보수적인 정지가 각 실패를 막는다. 이 기준선의 거짓정지·놓친 위험·처리시간·사람확인 시간을 측정해야 새 모델의 가치를 계산할 수 있다. 기존 보호를 비용 없이 제거 가능한 낭비로 취급하지 않는다.
| 실패축 | 최소 장면 | 위험한 오답 | 안전한 대체 |
|---|---|---|---|
| 물체 영속성 | 상자 뒤로 굴러간 공 | 공이 사라짐·두 개로 나타남 | 재관측·추적 불확실성 |
| 접촉 | 다른 마찰의 블록 밀기 | 미끄럼·전도·충돌 누락 | 힘·속도 제한+촉각 확인 |
| 척도 | 치수가 다른 같은 외관 통로 | 통과 가능성 오판 | 보정된 깊이·안전팽창 |
| 장기 일관성 | 열고 넣고 닫는 연속 작업 | 상태·순서·목표 망각 | 서브골·외부 상태원장 |
| 다중 에이전트 | 사람과 로봇의 교차 동선 | 상대 반응 고정 가정 | 정지·양보·직접 감시 |
Google DeepMind의 Genie 3 공식 페이지는 몇 분 동안 상호작용 가능한 세계와 함께 제한된 행동공간, 다중 독립 에이전트 상호작용의 어려움, 실제 장소의 완벽한 재현 불가와 몇 분을 넘는 지속시간 제한을 명시한다. 이는 생성형 세계의 공개 한계이며 모든 월드모델의 동일한 성능수치로 일반화할 수 없다.
기준선과 모델을 같은 관측예산으로 비교한다. 모델만 여러 카메라·완벽한 초기상태를 받고 기존 방식은 단일 센서로 시험하면 안 된다. 실패를 찾는 추가 센서·라벨·GPU와 사람 검토비도 파일럿 비용에 넣는다.
파일럿 비용은 반례 제작·정답·재현 장비에서 생긴다
각 실패축마다 한 변수만 바뀌는 최소쌍을 만든다. 공이 가림 뒤 멈추는 장면과 계속 굴러가는 장면, 마찰만 다른 블록, 외관은 같고 실제 폭이 다른 통로처럼 표면 단서에 기대는 지름길을 막는다. 조명·카메라·배경을 교차해 암기 여부도 본다.
Meta의 V-JEPA 2 물리이해 벤치마크 발표는 물리위반 최소쌍, 질문의 답이 반대인 최소변경 영상과 인과·예측 질문을 제시하며 일부 물리과제에서 최신 모델과 사람 사이 격차가 남는다고 보고한다. 해당 벤치마크 성능은 로봇 접촉 안전성의 직접 인증이 아니다.
정답은 영상 라벨만으로 부족하다. 물체 6D 자세·가시성, 접촉시각·힘·미끄럼, 실제 치수와 다른 행위자의 행동을 계측한다. 생성 영상에서는 내부 상태가 없다면 관찰 가능한 판정으로 제한하고, 시뮬레이션 정답도 엔진 가정과 함께 기록한다.
반례 수보다 반복성이 중요하다. 같은 초기상태를 여러 번 재현해 센서·마찰·사람 행동의 자연 변동을 측정하고 모델 오차와 환경 잡음을 구분한다. 정답 장비가 모델과 같은 카메라 추정에 의존하면 공통 오류를 놓치므로 치수·힘·외부 추적 등 독립 계측을 둔다.
중단·개입비는 불확실성을 숨길 때 급증한다
예측오차가 커도 모델이 확신하면 계획기는 위험한 행동을 계속 낼 수 있다. 평균 오차뿐 아니라 보정된 불확실성, 입력 분포 이탈과 후보 간 일치도를 본다. 문턱을 넘으면 행동지평을 줄이고 속도·힘을 낮추거나 직접 센서로 확인한 뒤 사람에게 넘긴다.
가림 뒤 객체는 새 관측이 들어올 때까지 가능한 위치 집합으로 유지하고, 접촉은 힘·촉각과 제어잔차로 확인한다. 척도는 보정된 깊이·기구학으로 고정하고, 긴 작업의 상태는 외부 작업원장에 기록한다. 다중 행위자 구역에서는 예측보다 보호영역·직접 감시가 우선한다.
개입을 실패에서 제외하지 않는다. 모델이 멈춰 사람에게 묻는 것이 안전한 성공일 수 있지만 처리량과 인건비에는 비용이다. 자동 성공, 안전중단, 사람복구, 위험한 놓침과 무해한 거짓정지를 별도 분모로 공개한다.
편익 문턱은 평균점수가 아니라 위험별 거짓허용 상한이다
World Labs의 기능 분류는 렌더러가 시각적 관측을, 시뮬레이터가 계산 가능한 상태를, 플래너가 행동을 내는 서로 다른 계약이라고 설명한다. 외관이 일관된 생성영상이 정확한 접촉·척도·행동계획을 자동 보장하지 않는 이유다. 회사 분류를 국제표준으로 취급하지는 않는다.
| 예외 | 자동 시스템 조치 | 사람 책임 | 확대 전 증거 |
|---|---|---|---|
| 가림 후 동일성 불명 | 추적 가설 유지·재관측 | 대상 확인 | 영속성 거짓병합·분리율 |
| 접촉예측과 힘 불일치 | 즉시 감속·후퇴 | 손상·치구 점검 | 힘·미끄럼 상한과 복구시간 |
| 척도 신뢰도 낮음 | 안전팽창·경로 금지 | 보정 확인 | 치수 구간별 거짓통과 0 목표 |
| 장기상태 모순 | 마지막 검증 서브골로 복귀 | 작업원장 승인 | 상태 전이·완료판정 오류 |
| 사람·다른 로봇 반응 불명 | 정지·양보 | 구역 통제 | 교차동선 위험사건·near miss |
편익은 위험한 거짓허용이 기준선 이하인 상태에서 불필요 정지·사람확인·재작업을 얼마나 줄였는지로 계산한다. 안전축을 평균 성공률과 상쇄하지 않는다. 낮은 위험의 시각검토에는 더 낮은 문턱을, 충돌 가능한 제어에는 보수적인 문턱과 독립 보호를 적용한다.
결정 일정은 작은 반례에서 현장 그림자운영으로 올라간다
1단계는 합성·시뮬레이션 최소쌍, 2단계는 실제 센서로 재현한 벤치, 3단계는 행동을 실행하지 않는 그림자 예측, 4단계는 저속·낮은 힘의 제한 파일럿이다. 각 단계에서 새 실패가 나오면 카탈로그·문턱·폴백을 업데이트한 뒤 이전 단계 회귀를 다시 돈다.
- 물체 영속성·접촉·척도·장기·다중 에이전트별 위험과 정답 센서를 정의한다.
- 한 변수만 바뀌는 최소쌍과 조명·배경·카메라 교차조합을 만든다.
- 평균 오차와 함께 위험한 거짓허용·불확실성 보정·분포이탈을 측정한다.
- 짧은 지평·재관측·안전정책·사람인계의 폴백 시간을 실제로 실행한다.
- 모델·데이터·프롬프트·시뮬레이터 버전과 모든 개입·결측을 사건원장에 남긴다.
- 현장 확대 뒤에도 새 실패를 카탈로그에 추가하고 이전 반례 전체를 회귀시험한다.
Sim2Real 실패 원인처럼 시뮬레이터에서 통과한 반례가 실물 센서·접촉에서 다시 실패할 수 있다. 확대 결정은 ‘더 이상 실패가 없음’이 아니라 발견 가능한 실패를 충분히 넓혔고, 남은 불확실성에서 안전하게 멈추며, 새 사건을 회귀시험으로 되돌릴 수 있는 상태다.
2026년 8월 26일 현재 공개된 생성세계와 물리이해 연구는 빠르게 발전하지만 장기·다중 행위자·접촉의 보편 해결을 선언할 근거는 없다. 로드맵 발표와 현재 실물 제어능력을 분리하고, 모델 업데이트 때마다 동일 카탈로그를 다시 실행한다.
운영 단계에서는 사건률이 낮아도 분모와 노출시간을 보존한다. 위험 장면을 거의 만나지 않은 한 달을 높은 안전성 증거로 해석하지 않고, 작업·물체·사람 동선별 노출과 그림자 예측을 함께 본다. 중대한 새 실패 한 건은 다음 확대를 멈추고 이전 범위로 되돌리는 기준이 될 수 있다.
월드모델 실패시험 비용과 ROI는 어떻게 평가하나
월드모델 실패시험에서 가장 자주 빠지는 비용은 무엇인가요?
정답 계측과 반례 제작, 사람개입·그림자운영, 모델 업데이트 후 전체 회귀, 사건 보존과 안전 폴백 유지비다. GPU 비용만 계산하면 위험한 거짓허용을 막는 운영비와 기존 보호계층의 유지비가 사라진다.
벤치마크 점수가 높으면 현장 ROI도 좋아지나요?
직접 연결되지 않는다. 벤치마크의 장면·행동·정답과 현장 위험이 다르고, 안전중단·사람복구·처리량 비용이 포함되지 않을 수 있다. 현장 기준선과 동일한 반례·센서·시간제한에서 위험별 오류와 개입비를 측정해야 한다.
자료 마지막 확인: 2026년 8월 26일