World Models
공간·시간의 통계 구조를 학습해 세계를 렌더·시뮬레이트·계획하는 모델
핵심 개념
World Model은 언어 모델이 텍스트의 통계 구조를 배우듯, 공간과 시간의 통계 구조(빛이 표면에 떨어지는 방식, 객체가 힘에 반응하는 방식, 물리 법칙)를 학습하는 모델이다. CV·로보틱스·RL·생성 AI가 각기 다른 의미로 쓰는 과부하 용어이며, Fei-Fei Li/World Labs는 이를 POMDP 루프 위에서 세 기능으로 분해해 정리한다.
POMDP 루프 — 통일 골격
RL 교과서(Sutton & Barto)의 고전적 그림: agent가 action을 취하면 세계의 state가 바뀌고, agent는 state를 직접 보지 못한 채 observation(망막의 광자, 센서 값, 픽셀)만 받아 새 action을 결정. 오늘날 “world model”이라 불리는 것들은 이 루프의 서로 다른 projection이다.
세 가지 기능
| 기능 | 출력 | 핵심 품질 | 예시 | 성숙도 |
|---|---|---|---|---|
| Renderer | 픽셀(observation) | 시각 충실도 | text-to-video, Genie 3, RTFM | 상업적으로 가장 성숙 |
| Simulator | 상태(state) | 기하·물리·동역학 충실 | World Labs Marble, NVIDIA Omniverse | 가장 덜 주목·가장 중요 |
| Planner | 액션(action) | 올바른 다음 행동 | VLA, World Action Models | 가장 nascent |
- Renderer: 보이는 것만 생성(드론샷은 완벽하나 도시를 통과하려면 무너짐). 3D 구조 이해 없음
- Simulator: 픽셀(렌더러)과 액션 결과(플래너)를 모두 도출할 수 있는 구조적 backbone. 인간(건축·게임)과 프로그램(RL·로봇·자율주행 학습장) 양쪽을 서빙
- Planner: observation + goal → 다음 행동. 렌더러의 역(逆). 로봇 데모는 제약된 랩 환경에 국한
왜 Simulator가 linchpin인가
“언어가 세계의 추상화, 픽셀이 세계의 projection이라면, 기하·물리·동역학은 세계 그 자체”다. Simulation을 마스터한 모델은 그 이해를 픽셀(인간용)과 액션 예측(에이전트용) 양쪽으로 projection할 수 있다. 렌더링만, 혹은 계획만 마스터한 모델은 못 한다.
난제: 3D 데이터(명시적 기하·물질·물리 주석)는 렌더러용 인터넷 비디오보다 orders of magnitude 희소, sim-to-real gap, 생성 시뮬레이터의 자기교차/잘못된 스케일, multi-physics 비용.
경계의 붕괴
셋의 기저 지식이 동일(기하·물리·동역학)하므로, 컵을 어느 각도로든 렌더링하는 모델은 컵이 밀릴 때를 시뮬레이트하고 집는 손을 계획할 수 있어야 한다. 논리적 종착점은 unified world model — 다운스트림 소비자가 필요로 하는 출력 모달리티(픽셀/구조/액션 시퀀스)를 전환하는 단일 foundation model. 데이터 불균형(렌더러는 풍부, 시뮬레이터·플래너는 3D 자산·로봇 데모 부족)과 시각미 vs 정밀도의 긴장을 단일 아키텍처에서 화해시키는 것이 현 시점의 핵심 미해결 문제.
데이터 엔지니어링 관점
World model은 데이터 엔지니어링과 두 갈래로 만난다: ① 학습 데이터 파이프라인(3D 자산·로봇 데모·물리 주석의 희소성과 큐레이션) ② 시뮬레이터를 데이터/ML 시스템의 합성 데이터·학습장으로 활용. Multimodal Data Processing Engine이 멀티모달 데이터를 처리하는 인프라라면, world model은 그 데이터로 세계 자체를 모델링한다.
연관 개념
- AI Agent — planner가 곧 에이전트의 의사결정
- Multimodal Search / Multimodal Data Processing Engine — 멀티모달 데이터 기반
- Knowledge Representation — 세계의 구조적 표현