로봇이 물체를 집기 전에 여러 행동을 ‘상상’한다는 말은 후보 행동열을 월드모델에 넣어 미래 표현을 예측하고 목표비용으로 순위를 매긴다는 뜻이다. MPC는 그중 첫 행동만 실행하고 새 관측을 받은 뒤 다시 후보를 만든다. 예측이 완벽하지 않아도 짧은 지평으로 계속 보정할 수 있다는 점이 핵심이다.
그러나 월드모델 하나를 설치한다고 계획기가 완성되지는 않는다. 행동 표현, 후보 생성·최적화, 목표·안전 비용, 지평과 재계획주기, 저수준 제어기와 폴백이 함께 맞아야 한다. 연구 데모의 성공률보다 어느 조건에서 예측이 틀리고 계획을 중단하는지 확인해야 실물 적용을 판단할 수 있다.
시스템 정체성은 예측기·평가기·재계획기의 결합이다
행동조건 월드모델은 현재 관측·상태와 행동을 받아 다음 관측 또는 잠재표현을 예측한다. 생성 영상처럼 픽셀을 모두 만들 수도 있고 제어에 필요한 잠재상태만 예측할 수도 있다. MPC는 후보 행동열을 모델로 굴려 목표·제약 비용을 계산하고 가장 좋은 첫 행동을 실행한다.
Meta의 V-JEPA 2 공식 발표는 현재·목표 영상의 임베딩을 만들고 후보 행동의 결과를 잠재공간에서 예측해 목표에 가까운 후보를 고르며 매 시점 재계획하는 실험을 설명한다. 공개된 65~80% 성공률은 해당 pick-and-place·시각 서브골·실험조건의 결과이지 범용 로봇 제어 보증이 아니다.
이 구조를 직접 정책과 비교하면 장단점이 보인다. 직접 정책은 관측에서 행동을 한 번에 내어 지연이 작을 수 있지만 목표나 제약 변경 때 재학습이 필요할 수 있다. 모델기반 계획은 비용과 후보를 실행 때 바꿀 수 있지만 예측·탐색 계산과 모델 편향을 감당해야 한다.
가치사슬의 위치는 고수준 목표와 저수준 제어 사이이다
| 계층 | 입력 | 출력 | 검증 질문 |
|---|---|---|---|
| 관측·상태 추정 | 영상·관절·힘 | 현재 표현·불확실성 | 가림·지연 때 상태가 맞나 |
| 행동조건 월드모델 | 현재 표현+행동열 | 미래 표현·비용 단서 | 접촉·척도·장기오차가 누적되나 |
| 후보 생성·MPC | 목표·제약·모델 | 선택 행동과 순위 | 후보수·지평 안에 좋은 해가 있나 |
| 저수준 제어 | 첫 행동·궤적 | 토크·속도·자세 | 지연·포화·충돌을 안전하게 처리하나 |
| 안전·복구 | 위험·불확실성·감시 | 정지·폴백·사람요청 | 모델 밖 상황에서 닫히나 |
TD-MPC2 공식 프로젝트는 디코더 없는 잠재 월드모델에서 국소 궤적 최적화를 수행하고 104개 연속제어 과제에서 평가한 연구를 공개한다. 이는 잠재예측과 MPC가 하나의 구현 경로임을 보여 주지만 실제 공장 로봇·안전규격·센서지연의 증거는 아니다.
계층 사이 좌표와 시간 단위가 중요하다. 월드모델 행동이 말단 7D 변화량인지 관절명령인지, 저수준 제어기가 얼마의 주기로 추종하는지, 카메라와 상태가 어느 시각을 가리키는지 명시한다. 모션 플래닝과 궤적 최적화의 경계도 후보 행동과 실행 궤적을 구분하는 데 필요하다.
제품·사용자는 계획 빈도와 안전권한으로 갈린다
연구자는 오프라인 데이터로 모델을 학습하고 시뮬레이터에서 후보수·지평을 조정할 수 있다. 제품팀은 카메라·상태 전처리, GPU 지연, 로봇 API와 목표 인터페이스를 묶는다. 운영자는 목표 변경, 금지구역, 최대 힘·속도와 사람개입 조건을 승인한다. 세 역할의 합격기준이 다르다.
Meta V-JEPA 2 공식 코드는 V-JEPA 2-AC 체크포인트와 행동조건 학습·에너지 경관 예시를 제공한다. 공식 코드 공개는 재현의 출발점이지만 다른 로봇의 행동차원·카메라·그리퍼·제어주기에 바로 연결되는 상용 인터페이스가 아니다.
단기 시각목표와 긴 작업을 구분한다. 집기·놓기처럼 몇 단계 안에서 보이는 목표는 짧은 MPC로 다룰 수 있지만 서랍을 열고 도구를 찾아 조립하는 작업은 서브골 생성·기억과 실패복구가 추가된다. 긴 지평을 한 번에 예측하기보다 계층계획과 직접 관측으로 다시 고정한다.
사용자는 계획기의 권한을 단계적으로 연다. 처음에는 후보 궤적과 예상비용을 사람에게 보여 주고, 다음에는 검증된 공간·물체에서만 자동 실행하며, 마지막에도 힘·속도·금지구역과 안전정지는 독립 계층에 남긴다. 모델 업데이트가 권한범위를 자동 넓히지 못하도록 버전별 승인표를 둔다.
비용모델은 후보 하나의 GPU 시간부터 작업손실까지 포함한다
상용 판단에서 비용은 모델 학습비만이 아니다. 후보수×지평×모델 추론, 카메라·상태 인코딩, 최적화 반복과 안전검사가 제어주기 안에 들어가야 한다. GPU를 공유하면 다른 비전작업의 지연도 늘 수 있다. p95 계획지연과 기한초과 행동을 기록한다.
후보를 늘리면 탐색범위가 커지지만 지연과 전력도 증가한다. 지평을 늘리면 장기결과를 볼 수 있지만 모델오차가 누적된다. 재계획을 빠르게 하면 교정력이 좋아지지만 관측노이즈에 흔들릴 수 있다. 한 변수를 높이는 것이 항상 성능개선으로 이어지지 않는다.
사업효과는 직접 정책 대비 성공률뿐 아니라 새 목표 설정시간, 데이터·재학습 비용, 사람개입·손상·중단시간으로 본다. 낮은 성공률을 후보수로 숨기거나 안전실드가 막은 행동을 성공 시도에서 제외하지 않는다. 실패분모와 복구비용을 함께 공개한다.
의존성은 모델 정확도보다 관측·행동·제어의 일치에서 먼저 깨진다
모델은 훈련 행동분포 밖의 큰 움직임, 새 도구·접촉, 카메라 가림과 조명 변화에서 틀릴 수 있다. 후보 생성기가 좋은 행동을 전혀 제안하지 않으면 정확한 모델도 목표에 가지 못한다. 비용함수가 시각 유사도만 보면 물체가 가려졌거나 손이 목표를 가리는 상태를 잘못 선호할 수 있다.
저수준 제어기의 포화·지연·안전정지가 모델에 반영되지 않으면 상상한 행동과 실행이 달라진다. 관측–행동 왕복지연을 모델 시간축과 맞추고, 실행된 실제 행동을 다음 재계획 입력으로 쓴다. 계획 명령이 안전 PLC나 충돌검사를 우회하지 못하도록 권한을 분리한다.
불확실성이 높아지면 자동으로 후보 수를 늘려 버티지 않는다. 재관측, 보수 속도, 기준 정책과 사람 승인 가운데 어느 폴백이 해당 위험을 줄이는지 정하고 그 전환 지연을 시험한다.
위험 감시는 평균 성공률보다 중단 규칙을 먼저 본다
실물 파일럿은 직접 정책, 행동조건 모델+MPC, 사람 텔레옵의 기준선을 같은 물체·초기상태·시간제한에서 비교한다. 새 물체, 가림, 미끄럼·접촉, 목표변경과 카메라 지연을 단계적으로 넣는다. 성공·시간·경로·접촉력·개입과 계획지연을 함께 측정한다.
- 현재 관측과 로봇 상태의 시각·좌표·단위를 다시 읽어 확인한다.
- 후보 행동이 기구학·속도·힘·작업공간 제약을 만족하는지 생성 단계에서 거른다.
- 모델 불확실성이나 후보 간 비용차가 작을 때 저속·직접관측·사람승인으로 폴백한다.
- 지평·후보수·최적화 반복·재계획주기를 하드웨어별로 프로파일링한다.
- 실행된 행동과 예측 결과를 같은 사건 ID로 묶어 모델 잔차와 제어잔차를 분리한다.
- 안전실드 개입·기한초과·무해한 실패까지 전체 시도 분모에 포함한다.
모델이 높은 비용이나 높은 불확실성을 내거나 후보가 모두 제약을 위반하면 행동하지 않는 것이 합격일 수 있다. 반대로 아무 행동이나 내고 안전실드가 계속 막는 구조는 계획 성공이 아니다. 중단·재관측·기준정책·사람인계 순서를 시험한다.
2026년 8월 26일 기준 V-JEPA 2-AC와 TD-MPC2는 중요한 공개 연구증거를 제공하지만 서로 다른 과제·모델·지표를 쓴다. 연구 성능을 합쳐 범용 우위를 주장하지 않는다. 다음 강한 신호는 새로운 로봇·작업에서 고정된 안전·지연·복구 조건으로 직접정책 대비 반복 우위를 보이는 실물 결과다.
파일럿 보고서는 성공 사례 영상보다 중단·실패 원장을 먼저 읽을 수 있어야 한다. 후보 생성 실패, 모델 오판, 비용함수 오설정, 제어기·안전계층 개입을 구분하고 각 사건의 원시 관측과 재현 절차를 보존한다. 같은 원인이 반복되면 후보수나 GPU를 늘리기 전에 구조를 수정한다.
행동조건 월드모델·MPC의 실물 확대는 무엇으로 입증하나
행동조건 월드모델+MPC의 실제 고객은 누구인가요?
목표·제약이 자주 바뀌고 후보 행동을 실행 전에 평가할 가치가 있는 로봇 개발·운영팀이다. 다만 짧은 고정주기의 단순 작업에서는 직접 정책이나 전통 궤적기가 더 작고 빠르며 검증하기 쉬울 수 있다.
실물 확대를 증명하는 최소 자료는 무엇인가요?
고정된 직접정책 기준선과 같은 작업에서 새 물체·가림·접촉·지연을 포함해 성공률, p95 계획지연, 안전실드 개입, 사람복구와 손상률을 반복 측정해야 한다. 모델·후보·비용·제어 버전과 중단사건을 모두 남겨야 한다.
자료 마지막 확인: 2026년 8월 26일