월드 모델(world model)은 지금 보이는 장면과 어떤 행동을 입력받아, 그 행동을 하면 세상이 어떻게 바뀔지 예측하는 AI입니다. 챗GPT 같은 언어 모델이 다음 단어를 예측한다면, 월드 모델은 다음 장면을 예측합니다. 로봇과 자율주행차는 이 예측을 두 가지에 씁니다. 실제로 움직이기 전에 “이렇게 하면 컵이 넘어지는가”를 먼저 돌려 보는 것, 그리고 현실에서 모으기 어려운 학습 영상을 만들어 내는 것입니다.
언어 모델과 무엇이 다른가
언어 모델은 글을 보고 다음 글을 씁니다. 월드 모델은 카메라 영상이나 센서 값을 보고, 시간이 흐르거나 누군가 움직였을 때의 다음 상태를 만듭니다. 그래서 학습 재료도 다릅니다. 글 대신 수많은 영상, 그리고 로봇이 어떤 행동을 했고 그 결과 화면이 어떻게 바뀌었는지가 기록된 데이터가 필요합니다.
구글 딥마인드는 지니 3 소개 페이지에서 월드 모델을 물리 환경에 대한 이해를 바탕으로 그 환경을 시뮬레이션하는 시스템이라고 설명합니다. 핵심은 행동에 따라 결과가 달라진다는 점입니다. 같은 부엌 장면이라도 로봇 팔이 왼쪽으로 가면 컵을 잡고, 오른쪽으로 가면 컵을 칩니다. 행동을 입력으로 받지 않고 그럴듯한 영상만 만드는 모델은 영상 생성 모델에 가깝습니다.
대표 모델 세 가지는 무엇을 하나
세 회사가 같은 이름을 쓰지만 목적이 다릅니다.
- 구글 딥마인드 지니 3(Genie 3): 글로 설명한 세계를 사람이 직접 돌아다닐 수 있는 영상으로 만듭니다. 720p, 초당 20~24프레임으로 실시간 생성하고, 몇 분 동안 장면이 대체로 일관되게 유지됩니다. 구글은 연구용 시제품 ‘Project Genie’로 체험 창구를 열었고, 몇 시간씩 이어지는 상호작용은 아직 안 되며 실제 장소를 정확히 재현하지 못한다는 한계를 직접 밝히고 있습니다(구글 딥마인드).
- 엔비디아 코스모스(Cosmos): 로봇·자율주행 개발자가 내려받아 쓰는 공개 모델 묶음입니다. 2026년 10월 현재 최신판은 Cosmos 3로, 글·이미지·영상·소리·행동을 한 모델에서 다룹니다. 날씨나 조명을 바꾼 주행 영상, 로봇 학습용 합성 데이터를 만드는 데 씁니다. 라이선스는 리눅스재단의 OpenMDW 1.1이고 허깅페이스에서 받을 수 있습니다(엔비디아 코스모스).
- 메타 V-JEPA 2: 화면을 픽셀 단위로 다시 그리지 않고, 장면의 핵심 특징만 예측합니다. 100만 시간 넘는 영상으로 먼저 배우고, 로봇 데이터 62시간으로 행동 계획을 붙였습니다. 메타는 2025년 6월 11일, 연구실 로봇이 처음 보는 물체를 처음 보는 환경에서 집어 옮기는 시험에 65~80% 성공했다고 발표했습니다(메타 AI 블로그).
세 모델의 구조 차이(픽셀을 생성하는가, 특징만 예측하는가)는 잠재 월드모델과 생성형 세계 시뮬레이터 차이에서 더 자세히 비교했습니다.
로봇은 월드 모델을 어떻게 쓰나
쓰임새는 크게 세 가지입니다.
- 움직이기 전에 미리 시험하기: 로봇이 후보 동작 여러 개를 월드 모델에 넣어 결과를 예측하고, 목표에 가장 가까운 동작을 고릅니다. V-JEPA 2의 집어 옮기기 시험이 이 방식입니다. 계획 과정은 Action-Conditioned World Model과 MPC에서 설명했습니다.
- 학습 데이터 만들기: 실제 로봇으로 수천 번 넘어지거나 눈길 사고를 내며 데이터를 모을 수는 없습니다. 코스모스 같은 모델로 조건을 바꾼 영상을 만들어 학습 데이터를 늘립니다.
- 시험장으로 쓰기: 새로 학습한 로봇 정책을 실제 현장 대신 생성된 세계에서 먼저 돌려 봅니다.
월드 모델이 만든 장면은 현실과 다를 수 있습니다. 물체가 갑자기 사라지거나 접촉과 무게가 실제와 다르게 그려지는 오류가 있어서, 생성 데이터로 학습한 로봇도 결국 실제 환경에서 다시 검증합니다. 어떤 실패가 자주 나오는지는 월드모델 실패 모드에 정리했습니다.
월드 모델은 로봇이 현실에서 보고 판단하고 움직이는 AI, 즉 피지컬 AI의 한 부품입니다. 전체 그림은 피지컬 AI 뜻에서 볼 수 있습니다.