VLA-JEPA, FastWAM과 LingBot-VA를 모두 ‘미래 영상을 보고 움직이는 정책’이라고 묶으면 선택 기준이 틀어진다. LeRobot v0.6 공식 릴리스는 세 모델을 월드모델 정책으로 함께 소개했지만, VLA-JEPA는 미래 잠재표현을 학습 감독으로 쓰고 추론에서는 해당 월드모델 구성요소를 제거한다. FastWAM도 영상 모델링을 학습에 활용하면서 추론 때 미래 영상 생성을 건너뛴다. LingBot-VA는 추론 중 미래 영상 잠재표현과 행동을 함께 예측하고 실제 관측으로 다시 기준을 잡는다. 같은 이름표 아래 계산 경로가 다르다.
먼저 고를 것은 모델 이름이 아니라 미래 표현을 어디에 쓸지다
세 모델의 선택 질문은 ‘누가 더 높은 점수를 냈나’가 아니다. 미래 표현을 학습 신호로만 쓸 것인지, 추론 비용을 낮추면서 영상 학습의 이점을 유지할 것인지, 실행 중 예측 영상을 관찰·디버그하고 실제 관측으로 계속 보정할 것인지를 먼저 정한다. 이 목적이 다르면 필요한 데이터, 추론 장비, 지연 예산과 검수 항목도 달라진다.
LeRobot 통합 목록은 설치 가능한 후보를 알려 주지만 세 모델을 같은 데이터와 장비에서 비교한 순위표는 아니다. 원 논문들은 LIBERO, RoboTwin, SimplerEnv와 실물 설정 등 서로 다른 실험을 사용한다. 각 논문의 최고 수치만 옮겨 절대 우열을 만들면 데이터 분할, 카메라, 행동 지평, 하드웨어와 개입 정의가 모두 사라진다.
도입팀은 대상 작업의 실패 비용과 관찰 가능성부터 적는다. 반응이 늦으면 바로 작업을 망치는지, 예측 영상을 저장해 오류를 분석할 가치가 있는지, 학습 시간과 실행 시간을 어느 쪽에서 더 쓸 수 있는지를 정한다. 모델 선택은 이 제약을 만족하는 후보를 같은 조건에서 다시 재는 과정이다.
세 모델은 미래를 표현하는 장소와 실행 시점이 다르다
VLA-JEPA 원 논문은 현재 관측과 행동에서 미래 프레임의 잠재표현을 예측하도록 학습한다. 미래 정보는 감독 목표로만 쓰고 학생 모델 입력에는 넣지 않는 누수 방지 상태 예측을 제안한다. LeRobot 설명에 따르면 이 월드모델 감독 구성요소는 추론에서 제거된다. 따라서 실행 중 사람이 볼 미래 영상을 생성하는 모델로 설명하면 부정확하다.
Fast-WAM 원 논문은 학습에서 영상 모델링과 행동 학습을 함께 사용하지만 추론에서는 미래 영상 생성을 건너뛰고 행동 묶음을 직접 예측한다. 저자들은 특정 설정에서 190ms 지연과 기존 imagine-then-execute WAM 대비 4배 넘는 속도를 보고했다. 이 수치는 논문의 하드웨어·모델·비교 조건에 묶이며 모든 GPU, 체크포인트와 로봇의 보장값이 아니다.
LeRobot의 LingBot-VA 문서는 미래 영상 잠재표현과 로봇 행동을 자기회귀적으로 함께 예측하고, 실행 중 실제 관측 키프레임을 캐시에 다시 넣는 이중 스트림 경로를 설명한다. 예측 영상을 저장할 수 있어 디버그 자산이 생기지만 영상이 그럴듯하다는 사실이 행동의 정확성이나 안전성을 보장하지 않는다.
통합 비용은 추론 속도뿐 아니라 무엇을 검수해야 하는지에서 갈린다
학습 때만 미래 표현을 쓰는 접근은 실행 경로를 단순하게 만들 수 있지만 학습 데이터와 잠재표현이 실제 작업 변화에 유용했는지 확인해야 한다. 실행 때 미래 잠재영상까지 만드는 접근은 관찰 가능한 디버그 자료를 주는 대신 지연, 메모리, 예측 드리프트와 재기준화 시점을 함께 관리해야 한다. 어느 쪽도 월드모델이라는 이름만으로 선택할 수 없다.
| 후보 경로 | 미래 표현의 위치 | 통합 때 확인할 비용·위험 | 맞지 않을 때의 대안 |
|---|---|---|---|
| VLA-JEPA | 학습의 잠재 미래 감독, 추론 시 감독 구성요소 제거 | 학습 파이프라인·데이터 누수·대상 작업 전이 검증 | 같은 데이터의 단순 VLA 기준선과 비교 |
| FastWAM | 학습의 영상 공동학습, 추론 시 미래 영상 생성 생략 | 논문과 다른 하드웨어의 지연 분포·행동 묶음 성능 | 지연 예산이 맞지 않으면 더 작은 정책이나 행동 지평 재설계 |
| LingBot-VA | 추론 중 영상 잠재표현과 행동을 함께 예측하고 실제 관측으로 재기준화 | 계산·메모리·예측 드리프트·키프레임 신선도 | 실행 예측 영상이 불필요하면 학습 전용 미래표현 경로 검토 |
| 월드모델 없는 기준선 | 현재 관측과 행동 학습에 집중 | 복잡한 미래 모델의 이득을 비교할 최소 기준 | 실패 분석에 미래 표현이 실제로 필요할 때 후보를 추가 |
표의 대안은 성능을 보장하는 처방이 아니라 비교 실험의 시작점이다. 대상 데이터에서 같은 카메라·상태 입력, 행동 지평, 정밀도, 추론 일정과 제어 주기를 맞춰야 추가 복잡성이 어느 지점에서 값을 만드는지 알 수 있다.
운영 위험은 상상 영상의 품질보다 늦은 행동과 잘못된 확신에서 생긴다
월드모델의 픽셀이나 잠재 예측 지표가 좋아도 로봇이 낯선 방해를 만났을 때 작업을 복구하지 못할 수 있다. 검수에는 홀드아웃 작업 성공, 방해 뒤 회복, 반응성, 평균뿐 아니라 꼬리 지연, 사람 개입과 해로운 행동 비율이 필요하다. 안전 관련 정지와 관절·충돌 제한은 별도 제어 계층과 애플리케이션 검증에 남는다.
LingBot-VA의 예측 영상은 특히 유용한 디버그 자산이 될 수 있다. 실제 관측과 예측을 나란히 두면 어느 시점에서 모델의 가정이 어긋났는지 찾을 수 있다. 그러나 시각적 일치만으로 정책을 승인하지 않는다. 물체 접촉과 힘, 화면 밖 사건, 행동 명령과 실제 관절 상태를 함께 대조해야 한다.
LingBot-VA 2.0 원 논문은 최신 관측으로 롤아웃을 다시 기준화하면서 미래 잠재표현을 행동 실행과 병렬로 예측하는 구조를 기술한다. 하지만 이 논문은 LeRobot v0.6 릴리스 이틀 뒤 공개됐으며 LeRobot 통합 체크포인트와 논문의 모든 구성·가중치가 정확히 같다는 근거는 별도 확인이 필요하다. 버전 이름이 비슷하다는 이유로 결과를 자동 승계하지 않는다.
단순한 정책 기준선이 없으면 월드모델의 이득을 설명하기 어렵다
월드모델 정책을 도입하기 전에 같은 데이터로 학습한 단순 VLA나 모방학습 기준선을 남긴다. 로봇 모방학습과 강화학습의 차이처럼 학습 신호 자체가 달라지면 월드모델 구조의 효과와 데이터·보상 변화의 효과를 분리해야 한다. 기준선이 없으면 계산비용이 늘어난 이유와 작업 성공이 바뀐 이유를 연결하기 어렵다.
모델 전체를 다시 학습할 여력이 없을 때는 로봇 VLA 미세조정·어댑터·LoRA 선택에서 다루는 적응 방법을 검토할 수 있다. 다만 작은 어댑터가 미래 표현의 오류를 해결한다고 가정하지 않는다. 데이터 분포, 실행 지연 또는 관측 부족이 문제라면 학습 파라미터 수를 줄여도 원인은 남는다.
예측 영상이 필요하지 않은 단순 반복 작업에서는 더 복잡한 실행 경로가 오히려 운영 부담을 키울 수 있다. 반대로 접촉 전 상태 전환이나 긴 작업에서 미래 표현이 실패를 줄이는지 확인하고 싶다면 모델을 추가할 이유가 생긴다. 대안은 항상 같은 홀드아웃과 실패 분모로 비교한다.
최종 선택은 같은 작업에서 속도·복구·검수 가능성을 함께 본다
세 모델을 한 번에 순위화하기보다 대상 작업의 제약에 따라 후보를 줄이고 같은 환경에서 다시 측정한다. 저자 수치는 재현 목표를 세우는 참고값이지 현장 합격표에 복사할 값이 아니다.
- 미래 표현을 학습 신호로만 쓸지, 실행 중 예측·디버그에도 쓸지 먼저 정한다.
- 세 후보의 데이터 분할, 카메라·상태 입력, 행동 지평, 하드웨어, 정밀도와 제어 주기를 맞춘다.
- 평균 지연뿐 아니라 p95·p99, 지터, 관측 신선도와 행동 묶음 경계의 중단을 기록한다.
- 잠재·영상 예측 점수와 별도로 홀드아웃 작업 성공, 방해 뒤 복구, 개입과 해로운 행동을 잰다.
- LingBot-VA 예측 영상은 실제 관측·로봇 상태와 대조해 디버그에 쓰고 합격 판정으로 단독 사용하지 않는다.
- 논문 버전, LeRobot 구현, 체크포인트와 설정을 고정해 결과가 어느 구성에 속하는지 남긴다.
- 단순 VLA 기준선보다 실질적인 이득이 없으면 추가 계산과 유지보수 복잡성을 채택하지 않는다.
결국 ‘상상하는 정책’이라는 말은 하나의 기능이 아니다. 훈련에만 쓰이는 잠재 미래, 실행에서 생략되는 영상 예측, 실행 중 계속 갱신되는 영상·행동 경로를 구분해야 한다. 선택은 이 차이가 대상 작업의 실패를 실제로 줄였다는 같은 조건의 증거에서 끝난다.
독자가 이어서 묻는 질문
세 모델을 처음 비교한다면 무엇부터 실행해 보는 편이 좋은가요?
먼저 같은 데이터와 하드웨어에서 단순 VLA 기준선을 만들고, 실행 중 예측 영상이 필요한지와 지연 예산을 정한다. 그다음 학습 전용 미래 감독이 필요한 후보와 실행 중 미래표현을 만드는 후보를 한 번에 하나씩 추가해 작업 성공·복구·지연 차이를 측정한다. 특정 모델이 초보자에게 보편적으로 가장 좋다고 단정할 수는 없다.
LingBot-VA처럼 예측 영상을 만드는 경로를 선택하지 말아야 할 때는 언제인가요?
대상 작업에서 예측 영상이 디버그나 성능에 주는 이득이 없고 계산·메모리·꼬리 지연만 늘어나거나, 실제 관측으로 재기준화하기 전 행동 위험이 커지면 보류한다. 단순 기준선보다 나은 작업 성공과 복구 증거가 없는 경우도 복잡한 실행 경로를 채택할 이유가 약하다.
자료 마지막 확인: 2026년 8월 26일