V-JEPA·Cosmos·Genie를 한 줄의 성능 순위에 놓을 수 없는 이유는 산업에서 파는 가치가 서로 다르기 때문이다. V-JEPA 계열은 관측의 잠재표현에서 다음 상태를 예측해 이해·계획에 쓸 표현을 제공하고, Cosmos는 물리 AI용으로 조정할 수 있는 영상 세계모델 플랫폼을, Genie는 사용자의 행동에 반응하는 생성 환경을 시연한다. 출력 단위와 사용자가 다르므로 데모의 화질이나 로봇 성공률을 맞비교해서는 안 된다.
현재 확인된 지위부터 세 계열을 같은 세대로 묶지 않는다
2026년 8월 26일 확인 기준 V-JEPA 2, Cosmos-Predict1, Genie 2와 후속 Genie 3는 서로 다른 기관·공개시점·연구목표를 가진다. ‘V-JEPA’, ‘Cosmos’, ‘Genie’라는 가족명만 쓰면 어떤 세대와 체크포인트를 비교하는지 사라진다. 모델명, 버전, 입력해상도·길이, 행동조건과 공개된 평가를 인용문 옆에 붙여야 한다.
Meta의 V-JEPA 2 원 연구 페이지는 공동 임베딩 예측 아키텍처가 영상 픽셀을 직접 재구성하기보다 잠재공간에서 가려진·미래 표현을 예측하도록 학습됐다고 설명한다. 사전학습에는 100만 시간 넘는 인터넷 영상이 사용됐다. 이 규모는 Meta 논문의 데이터 설명이며 다른 계열의 학습량과 동일 조건 비교값이 아니다.
NVIDIA Cosmos-Predict1 연구 페이지는 영상 큐레이션, 사전학습 모델, 사후학습과 영상 토크나이저를 묶은 월드 파운데이션 모델 플랫폼을 공개한다. 사용자가 물리 AI 용도에 맞게 조정하는 기반이라는 뜻이지, 내려받은 모델이 곧바로 로봇 제어기나 엄밀한 물리 시뮬레이터가 된다는 뜻은 아니다.
제품 근거는 모델이 실제로 내놓는 출력에서 갈린다
V-JEPA 2의 주 출력은 사람에게 보여줄 미래 프레임보다 관측을 압축한 잠재표현과 예측이다. 이 표현 위에 분류·질의응답·행동조건 모델이나 비용함수를 붙일 수 있다. 잠재모델도 미래 분포를 생성한다는 넓은 의미에서는 생성적일 수 있으므로 ‘생성하지 않는다’고 단정하기보다 픽셀 영상을 주산출물로 복원하도록 학습하지 않았다고 쓰는 편이 정확하다.
Cosmos-Predict 계열은 텍스트·영상·조건을 받아 물리 장면의 미래 영상을 생성하는 기반을 제공해 합성데이터, 시나리오 검토와 후속 모델 학습에 연결될 수 있다. 그러나 영상이 그럴듯하다는 사실만으로 물체 질량, 접촉력, 충돌과 장기 인과가 맞는지는 알 수 없다. 물리 제약이 중요한 작업에서는 상태·접촉 정답과 실물 결과를 별도로 평가한다.
Google DeepMind의 Genie 2 발표는 한 장의 프롬프트 이미지에서 키보드·마우스 행동에 반응하는 플레이 가능한 3D 환경을 자기회귀 잠재 확산 방식으로 생성한다고 설명한다. 최대 약 1분의 시연이 가능하다고 했지만 다수 예시는 10~20초였다. 이 시간은 Genie 2 공개 데모의 범위이며 안정적 로봇 훈련 에피소드 보증이 아니다.
실제 고객은 이름이 아니라 산출물의 다음 소비자다
로봇 계획팀은 후보 행동 뒤의 과업 상태나 비용을 빠르게 비교할 표현이 필요하다. 이 경우 V-JEPA 2-AC처럼 행동조건 예측을 붙인 잠재모델이 후보가 될 수 있다. Meta의 V-JEPA 2 원 연구는 62시간 미만의 라벨 없는 DROID 로봇 영상으로 V-JEPA 2-AC를 사후학습하고 두 실험실의 Franka 로봇에서 이미지 목표로 물체를 집어 옮기는 작업을 제로샷 시연했다고 보고한다. 특정 장비·실험 결과이며 범용 로봇 성능이 아니다.
합성데이터팀은 보기 드문 조명·배치·동작을 영상으로 늘리고 사람 검토자가 시나리오를 빠르게 확인하려 할 수 있다. 이때 Cosmos의 영상 생성·사후학습 도구가 맞을 수 있지만 센서 노이즈·라벨·카메라와 정책 입력 형식까지 맞춰야 학습데이터가 된다. 생성 영상 개수보다 실제 분포와의 차이, 중복, 물리 위반과 정책 성능 변화가 채택 기준이다.
환경 디자이너·에이전트 연구자는 사람이 행동을 주고 장면이 반응하는 지속 환경을 원할 수 있다. Genie가 보여준 소비자에 가깝다. 반대로 공장 로봇의 충돌회피나 힘제어는 렌더링 가능한 환경만으로 닫히지 않는다. 기하·동역학·안전제약과 실제 제어주기를 만족하는 별도 시뮬레이터·컨트롤러가 필요하다.
기업 주장과 검증 사실을 가치사슬 표에서 분리한다
| 계열·공개본 | 주요 입력→산출물 | 가치사슬의 다음 소비자 | 확인된 근거와 남은 검증 |
|---|---|---|---|
| Meta V-JEPA 2 / 2-AC | 영상 관측·행동→잠재표현·미래 잠재상태 | 표현학습, 질의응답, 후보행동 계획 | 원 논문의 학습·Franka 시연은 확인; 다른 로봇·장기과업 일반화는 미확인 |
| NVIDIA Cosmos-Predict1 | 텍스트·영상·조건→미래 영상 | 합성데이터·시나리오 생성·사후학습 | 공식 플랫폼 구성은 확인; 영상 사실성이 물리정확도·정책향상을 보증하지 않음 |
| DeepMind Genie 2 | 프롬프트 이미지·사용자 행동→상호작용 3D 영상 | 에이전트 환경·프로토타이핑·사람 탐색 | 행동제어 데모와 시간범위는 확인; 로봇 센서·접촉·안전 제어 적합성은 미확인 |
| DeepMind Genie 3 | 텍스트·행동→실시간 상호작용 세계 | 더 긴 상호작용 환경 연구 | 발표상 720p·24fps·수분 일관성; 제한된 행동공간과 실제 장소·장기정확성 한계가 남음 |
| World Labs 기능 분류 | 상태·행동·관측 정의→렌더러·시뮬레이터·플래너 | 구매·연구 요구사항 언어 | 기업의 개념 분류이며 중립 국제표준이나 모델 벤치마크는 아님 |
DeepMind의 Genie 3 발표는 720p, 초당 24프레임과 수분 동안의 일관성을 제시한다. 이는 Genie 3의 발표 주장이다. Genie 2의 최대 약 1분·다수 10~20초 데모와 섞어 하나의 성능 향상률을 만들 수 없고, 다른 행동공간·프롬프트·평가자의 영상도 정량 벤치마크가 아니다.
World Labs의 월드모델 기능 분류는 렌더러가 관측을, 시뮬레이터가 상태·기하·물리를, 플래너가 행동을 산출한다는 구분을 제안한다. 한 시스템이 여러 역할을 결합할 수 있지만 어떤 출력을 누가 소비하는지 명시하는 데 유용하다. 다만 회사가 제시한 개념 틀이며 합의된 표준으로 취급하지 않는다.
사업 위험은 세대 혼합과 목적 없는 대규모 생성에서 커진다
가장 큰 위험은 멋진 영상이나 하나의 로봇 데모를 구매 사유로 삼는 것이다. 계획이 목적이면 행동후 미래 상태의 순위 정확도와 재계획 지연을, 합성데이터가 목적이면 실제 검증셋 성능과 실패군 커버리지를, 사람 검토가 목적이면 발견시간과 일치율을 측정한다. 모델별 산출물을 같은 과업 결과로 변환한 뒤 비교한다.
- 모델 가족명뿐 아니라 공개 버전·체크포인트·날짜와 라이선스를 고정한다.
- 입력 관측, 행동조건, 예측지평과 출력이 잠재표현·상태·영상·행동 중 무엇인지 적는다.
- 계획·정책학습·합성데이터·사람 검토 중 하나의 주용도를 먼저 선택한다.
- 픽셀 품질과 기하·접촉·인과·행동 성공을 서로 다른 시험으로 측정한다.
- 각 계열의 공식 데모 수치를 동일 벤치마크처럼 재정렬하지 않고 자사 과업을 공통 시험한다.
- 모델 불확실성이 커질 때 짧은 지평·직접 관측·기존 시뮬레이터나 사람 검토로 폴백한다.
- 계산량·지연·데이터 권리·안전검토까지 포함해 산출물 하나당 총비용을 계산한다.
입문 설명은 Physical AI 월드모델의 뜻에서 시작하되, 실제 선택은 더 좁혀야 한다. ‘세계를 이해한다’는 문구가 아니라 관측에서 무엇을 압축하고 어떤 행동을 조건으로 몇 단계 뒤의 무엇을 출력하는지가 사양이다. 그 출력이 기존 플래너·정책·시뮬레이터에 들어가는 인터페이스까지 시험해야 한다.
공개 모델의 빠른 세대교체도 위험이다. Cosmos 1의 도구와 후속 Cosmos 계열, Genie 2와 Genie 3, 기본 V-JEPA 2와 행동조건 2-AC는 이름이 비슷해도 기능·가용성·평가가 다르다. 2026년 8월 26일의 문서와 실제 사용 체크포인트를 묶어 보존하고, 새 발표가 기존 검증을 소급해 대체한다고 가정하지 않는다.
V-JEPA·Cosmos·Genie는 어떤 기준으로 선택하나
학습 데이터와 계산 규모가 큰 모델이 로봇에 더 가치 있다는 뜻인가요?
아니다. 공개된 학습 규모는 표현 범위와 개발투자의 단서일 뿐 자사 과업의 물리정확도·지연·성공률을 보장하지 않는다. 같은 관측·행동·실물 평가에서 목표 산출물의 품질과 통합비용을 비교해야 한다.
V-JEPA·Cosmos·Genie 중 하나만 선택해 투자하면 되나요?
용도가 다르면 결합할 수 있다. 잠재모델은 계획 표현을, 영상모델은 합성 장면을, 상호작용 생성기는 에이전트 환경을 제공할 수 있다. 다만 각 단계의 버전·오차·권리·계산비용과 실제 정책 성능을 따로 검증해야 중복투자를 피할 수 있다.
자료 마지막 확인: 2026년 8월 26일