LeWM 학습 파이프라인 (사진=arXiv)
얀 르쿤 AMI 창립자 겸 뉴욕대학교 교수는 몬트리올대학교, 뉴욕대학교, 삼성 SAIL, 브라운 대학교 연구진과 최근 월드 모델 ‘
LeWM(LeWorldModel)
’을 온라인 아카이브를 통해 공개했다.
이 모델은 기존 월드 모델의 난제로 꼽히는 학습 불안정성과 구조적 복잡성을 동시에 해결한 것이 특징이다.
월드 모델은 AI가 주변 환경을 이해하고 미래를 예측하는 ‘내부 시뮬레이션’ 기술로, 자율주행차·로봇·게임 AI 등에서 핵심 역할을 한다. 그러나 기존 방식은 이미지 같은 픽셀 데이터를 그대로 학습할 경우 ‘표현 붕괴(representation collapse)’ 문제가 발생했다.
이는 AI가 제대로 이해하지 않고 비슷한 값만 반복해서 만들어 내며 쉽게 문제를 풀어버리는 상황을 말한다. 겉보기에는 잘 작동하는 것처럼 보여도, 실제로는 의미 있는 학습이 이뤄지지 않는 것이다.
연구진은 이러한 문제를 해결하기 위해 ‘JEPA(Joint Embedding Predictive Architecture)’ 구조를 기반으로 한 단순한 접근을 제시했다. JEPA는 르쿤 창립자가 메타 시절 개발한 월드 모델 아키텍처다.
모델은 단 두가지 기준으로 학습된다. 하나는 “다음 상태를 얼마나 정확히 예측하는가”이고, 다른 하나는 내부 표현이 일정한 분포(가우시안)를 유지하도록 만드는 것이다. 이처럼 번거로운 방법을 거치지 않아도 안정적인 학습이 가능하도록 설계된 점이 핵심이다.
작동 방식도 비교적 직관적이다. 여러장의 이미지와 행동 정보가 주어지면, 인코더는 이를 간단한 숫자 형태(잠재 표현)로 변환한다.
이후 예측기는 현재 상태와 행동을 기반으로 다음 상태를 계속 예측하며 환경의 변화 규칙을 학습한다. 이 과정은 예측값과 실제값의 차이를 줄이는 방식(MSE 손실)으로 최적화된다.
특히 기존 모델들이 의존하던 복잡한 학습 기법 대신 ‘SIGReg’이라는 간단한 정규화 방식을 도입한 점도 눈에 띈다. 이 방식은 데이터가 특정 방향으로 쏠리지 않고 고르게 퍼지도록 만들어(가우시안), 모델이 더 다양한 특징을 학습하도록 돕는다.
이러한 단순화 덕분에 LeWM은 기존 6개 이상 필요했던 하이퍼파라미터를 단 하나로 줄였으며, 원시 픽셀부터 결과까지 한번에 학습하는 엔드투엔드 방식에서도 안정적인 성능을 유지한다.
기존 방식은 최적의 학습 설정을 찾기 위해 막대한 컴퓨팅 자원을 소모해야 했으나, LeWM은 이처럼 수학적 원리를 활용해 단 한번의 이분 탐색만으로 최적값을 찾아낸다.
특히 별도의 사전 학습 모델이나 추가 보조 과정 없이도 높은 성능을 달성했다는 점에서 실용성이 크다는 평가다.
고정된 계산 자원에서의 계획 시간과 성능. 50회 실행 평균 계획 시간 비교(왼쪽)에서 약 200배 적은 토큰으로 관측값을 인코딩하는 LeWM은 PLDM과 유사한 계획 속도를 달성하면서도, DINO-WM보다 최대 약 50배 빠른 속도를 보인다. 동일한 계산 예산에서의 계획 성능 비교에서 LeWM은 Push-T(가운데)와 OGBench-Cube(오른쪽)에서 DINO-WM을 크게 상회하는 성능을 기록했다. (사진=arXiv)
성능도 인상적이다. 1500만개 규모의 비교적 작은 모델로 단일 GPU에서 수시간 내 학습이 가능하며, 기존 파운데이션 모델 기반 월드모델 대비 최대 48배 빠른 계획 속도를 기록했다.
이는 기존 DINO-WM 같은 모델이 이미지를 잘게 나눠서 처리하느라 계산량이 많았지만, LeWM은 '희소 토큰화(Sparse Tokenization)'를 통해 꼭 필요한 정보만 처리하기 때문이다. 이 때문에 물리 세계의 복잡한 규칙을 반영하는 월드 모델이 1초 미만에 계획을 세울 수 있게 됐다. 실제로 다양한 2D·3D 제어 작업에서 경쟁력 있는 결과를 유지했다.
나아가 LeWM은 단순 제어를 넘어 ‘물리적 이해’ 능력까지 보여준다. 모델의 내부 표현은 물체의 움직임과 상호작용 같은 실제 물리 구조를 반영하며, 물리적으로 불가능한 상황을 감지하는 능력도 입증됐다.
특히 학습이 진행될수록 복잡한 물리 현상이 AI의 잠재 공간에서 매끄러운 직선 형태로 정리되는 '경로 직선화(Path Straightening)' 현상이 관측됐다. 이는 AI가 복잡한 세상을 단순한 물리 법칙으로 요약해서 이해하기 시작했다는 증거로 꼽힌다.
전문가들은 월드 모델 개발을 가로막던 제약이 사라지고 1초 미만에 실시간 계획 수립이 가능해짐에 따라, 그동안 학계의 연구 영역에 머물던 JEPA 기술이 산업 현장과 로보틱스 분야로 빠르게 확산될 것으로 기대하고 있다.
박찬 기자 cpark@aitimes.com
댓글
0