월드모델 (1) LLM 다음은 뭘까: 다음 프레임을 예측하는 AI

지금 데이터 과학자로 일하고 있지만, 모델링 작업의 상당 부분을 이미 LLM과 나눠 하고 있다. 피처 아이디어를 내는 것도, 베이스라인 코드를 짜는 것도, 실험 결과를 해석하는 것도 그렇다. 그러다 보니 이 직업이 앞으로 어떻게 변할지 자주 상상해보게 되고, 자연스럽게 LLM 바깥에서 무슨 일이 벌어지고 있는지도 챙겨 보게 됐다. 요즘 가장 눈이 가는 쪽은 월드모델(world model)이다.

계기는 로보틱스다. 휴머노이드가 됐든 자율주행차가 됐든, 요즘 물리 세계로 나가려는 AI들이 하나같이 월드모델을 이야기한다. 왜 하필 이건지, 그리고 이게 LLM 이후의 다음 물결이 될 수 있을지 궁금해서 한동안 파봤다. 이 시리즈는 그 공부를 3편으로 정리한 노트다. 이번 편은 월드모델이 무엇이고 왜 지금 주목받는지, 다음 편은 이걸 실제 서비스에 넣으려는 회사가 어떤 설계를 택했는지, 마지막 편은 남은 난제들과 로보틱스·데이터 직군에 주는 시사점이다.

1. 머릿속 시뮬레이터

거창한 정의보다 직관이 먼저다. 사람은 누구나 머릿속에 세계의 모형을 하나씩 갖고 있다. 공을 던지면 포물선을 그리며 떨어질 것이고, 컵을 테이블 끝으로 밀면 결국 바닥에 떨어질 것이다. 실제로 해보지 않아도 안다. 경험으로 배운 “세계가 굴러가는 방식”의 압축본이 머릿속에 있기 때문이다. 행동을 하기 전에 결과를 미리 돌려보는 이 내부 시뮬레이터를 기계에게 주려는 시도가 월드모델이다. 형태를 한 줄로 쓰면, 현재 상태와 행동이 주어졌을 때 다음에 무슨 일이 일어날지 예측하는 모델이다.

요즘 주목받는 형태는 비디오 월드모델이다. 세계의 다음 상태를 화면, 즉 다음 프레임으로 예측한다. 구조는 LLM과 놀랄 만큼 닮았다. LLM이 지금까지의 토큰을 보고 다음 토큰을 예측하듯, 비디오 월드모델은 지금까지의 프레임을 보고 다음 프레임을 생성한다. 텍스트 프롬프트나 시작 이미지 같은 조건 신호(conditioning signal)를 받아 생성을 조향할 수 있다는 점까지 닮았다.

비디오 월드모델의 입출력 구조

조건 신호를 받아 프레임을 한 장씩 예측하고, 방금 만든 프레임이 다시 다음 예측의 입력이 된다.

조건 신호 중에서 가장 흥미로운 건 행동이다. 앞으로 가는 키를 누르면 다음 프레임에서 시점이 전진해 있고, 카메라를 돌리면 다음 프레임이 그 방향의 장면이 된다. 이 지점에서 월드모델은 영상 생성기와 갈라진다. 볼 수만 있는 영상이 아니라, 안에서 움직일 수 있는 세계가 되는 것이다. 로봇으로 바꿔 읽으면 그대로 로봇의 문제가 된다. 팔을 이렇게 뻗으면 세계가 어떻게 변하는지 미리 그려보는 능력이니까.

나는 이 구도를 “다음 토큰 예측이라는 공식의 이식 실험”으로 읽고 있다. 다음 토큰을 맞히는 단순한 목표를 밀어붙였더니 언어 능력이 창발했다는 게 LLM의 서사였다. 그 공식을 텍스트에서 픽셀로, 언어 세계에서 물리 세계로 옮겨 심으면 무엇이 창발하는가. 지금 월드모델 판에 걸린 질문이 이거라고 생각한다.

2. 로봇의 병목은 모델이 아니라 데이터다

왜 로보틱스가 촉매가 됐는지는 데이터 관점에서 보면 이해가 빠르다. LLM이 클 수 있었던 건 인터넷에 수십 년치 텍스트가 쌓여 있었기 때문이다. 그런데 로봇에게 필요한 데이터는 텍스트가 아니라 “이 상황에서 이렇게 행동했더니 이렇게 됐다”는 행동과 결과의 기록이고, 이건 인터넷에 없다. 유튜브에 영상은 많지만 그 영상에는 행동의 주체가 어떤 명령을 내렸는지가 빠져 있다. 직접 모으자니 로봇을 현실에서 수백만 번 굴려야 하는데, 느리고 비싸고 위험하다.

월드모델은 이 병목을 우회하는 수단으로 소환됐다. 그럴듯한 가상 세계를 모델이 만들어낼 수 있다면, 로봇은 그 안에서 무한히 넘어지고 부딪히며 배울 수 있다. 말하자면 LLM이 이미 쌓인 데이터를 소비하며 컸다면, 월드모델은 학습 데이터를 생산하는 공장의 자리에 서 있다. 모델이 곧 데이터 인프라가 되는 셈인데, 데이터 일을 하는 입장에서는 이 역전이 이 판의 가장 재미있는 지점이다.

실제로 최근 1~2년 사이 움직임이 전부 이 방향을 가리킨다. Google DeepMind는 텍스트로 묘사하면 실시간으로 걸어 다닐 수 있는 세계를 생성하는 Genie 3를 공개했고 (DeepMind), NVIDIA는 로봇·자율주행 학습용 월드 파운데이션 모델 플랫폼 Cosmos를 내놨다 (NVIDIA). 이미지넷을 만든 페이페이 리는 공간지능 회사 World Labs를 차렸고 (World Labs), “LLM만으로는 세계를 이해하는 AI에 도달할 수 없다”고 오래 주장해온 얀 르쿤이 Meta를 떠나 월드모델 스타트업을 만든다는 보도도 나왔다. 회사도 접근법도 제각각이지만, 향하는 곳은 같다. 텍스트 다음은 물리 세계라는 것.

3. 그런데, 그린다고 아는 것은 아니다

여기까지만 보면 장밋빛인데, 직접 들여다볼수록 지금의 비디오 월드모델에는 근본적인 구멍 두 개가 보인다. 이 구멍이 시리즈 나머지 두 편의 출발점이라 짚고 간다.

첫째, 세계를 기억하지 못한다. 비디오 월드모델은 장면을 저장해두는 게 아니라 매번 새로 생성한다. 그래서 테이블 위에 병이 놓인 장면에서 카메라를 딴 데로 돌렸다가 다시 돌아오면, 병이 그대로 있을 거라는 보장이 없다. 모델이 장면을 다시 생성하면서 조용히 바꿔버리기 때문이다. 화면 안에 있는 동안은 그럴듯한데, 화면 밖으로 나가는 순간 존재가 흔들린다.

카메라를 돌렸다 돌아오면 세계가 바뀐다

장면을 기억하는 게 아니라 매번 다시 생성하기 때문에, 화면 밖으로 나간 것은 조용히 바뀔 수 있다.

둘째, 픽셀은 이해가 아니다. 모델은 흠잡을 데 없이 완벽한 병을 그리면서도, 그게 병이라는 것(뚜껑이 열리고, 물이 담기고, 손에서 놓으면 떨어진다는 것)을 알지 못한다. 세계를 모델링하는 게 아니라 세계의 겉모습을 렌더링하고 있는 것에 가깝다. 어디서 많이 듣던 논쟁 아닌가. LLM을 두고 “확률적 앵무새냐, 진짜 이해냐”를 다투던 그 논쟁이, 모달리티만 바꿔서 픽셀에서 반복되고 있다.

이 두 구멍은 데모에서는 잘 안 보인다. 몇 분짜리 시연 영상에서는 기억도 이해도 크게 시험받지 않으니까. 하지만 사용자가 몇 시간씩 머무는 서비스에 넣으려는 순간 전면에 드러난다. 그리고 바로 그 지점에서, 이 문제를 정면으로 맞닥뜨린 회사가 어떤 설계를 택했는지가 궁금해진다.

4. 개인적인 견해

다음 편에서 자세히 다루겠지만, 내가 본 것 중 가장 흥미로운 답은 “모델을 더 키워서 구멍을 메운다”가 아니라 “구멍은 다른 시스템이 메우고, 모델은 잘하는 것만 하게 한다”는 쪽이었다. LLM에서 이미 본 전개다. 모델 단독으로는 제품이 안 되고, 도구 호출·상태 관리·검증을 맡는 하네스가 모델을 감싸면서 비로소 쓸 만해졌다. 예전에 AI Agent는 더 좋은 프롬프트가 아니라 더 좋은 Harness에서 나온다에서 정리했던 그 구도가, 모달리티가 픽셀로 바뀌어도 다시 나타난다. 우연이라기보다는, 생성 모델을 제품으로 만들 때 반복되는 구조적 패턴이 아닐까 싶다.

한 가지 더. “예측이 이해를 낳는가”라는 질문에 대해, LLM 진영은 스케일로 상당 부분을 답해버렸다. 월드모델도 같은 경로를 갈지, 아니면 픽셀의 세계에서는 스케일만으로 안 되는 벽이 있을지는 아직 판단을 유보하고 있다. 다만 어느 쪽이든, 그 답이 나오는 과정에서 로봇 학습의 데이터 경제가 뒤집힐 거라는 점은 꽤 확신하게 됐다. 데이터를 모으는 직업을 가진 사람으로서, 데이터를 생산하는 모델의 등장은 그냥 지나칠 수 없는 소식이다.

함께 보면 좋은 글:

참고 자료

본 글은 2026년 7월 21일 기준 공개 자료를 바탕으로 작성했다. 본문의 다이어그램은 참고 자료의 그림을 참고해 직접 재구성한 것이다. 얀 르쿤의 스타트업 설립 등 일부 내용은 보도 기준이며, 공식 발표와 다를 수 있다.