사용자의 입력에 반응해 실시간으로 변화하는 3차원(3D) 가상 세계를 만들어내는 새로운 접근법이 등장했다. 비디오 생성 인공지능은 이제 단순한 영상 제작을 넘어, 직접 탐험할 수 있는 인터랙티브 게임 세계로 확장되고 있다.
어도비와 카이스트(KAIST) 연구진은 최근 키보드·마우스 등 사용자의 입력에 따라 지속적으로 변화하는 인터랙티브 3D 환경을 생성하는 모델 ‘
월드캠(WorldCam)
’을 온라인 아카이브를 통해 공개했다.
이 연구는 비디오 확산 모델 기반 기술을 발전시켜, 단순한 장면 생성이 아니라 장시간에 걸쳐 일관된 가상 세계를 유지하는 데 초점을 맞췄다.
월드캠은 비디오 확산 트랜스포머(Video Diffusion Transformer)를 기반으로 한 인터랙티브 게임 월드 생성 모델이다. 사용자의 키보드·마우스 입력을 단순한 조건 신호가 아닌 카메라 포즈(camera pose)’로 해석해, 실제 3D 공간에서의 이동처럼 반영하는 것이 핵심이다.
기존의 AI 기반 게임 월드 생성 기술은 짧은 구간에서는 높은 품질을 보이지만, 시간이 길어질수록 시각적 품질이 저하되거나 공간 구조가 무너지는 문제가 있었다. 특히 사용자의 행동을 정확히 반영하면서도 3D 일관성을 유지하는 것은 해결되지 않은 핵심 과제로 꼽혀왔다.
월드캠은 이러한 한계를 해결하기 위해 ‘카메라 포즈’를 핵심 개념으로 도입했다. 사용자의 키보드나 마우스 입력을 카메라 움직임 정보로 바꾼 뒤, 이를 기반으로 점진적 자기회귀 방식의 비디오 트랜스포머( progressive autoregressive video transformer)를 구동해 영상을 단계적으로 생성해 원하는 행동이 정확히 반영되도록 한다.
또 이전에 생성한 장면 정보를 다시 활용해 3D 공간이 계속 자연스럽게 이어지도록 하고, 최근 장면을 기억하는 기능을 통해 긴 시간 동안 영상을 만들어도 안정적으로 유지되도록 한다.
월드캠 아키텍처. (사진=arXiv)
사용자의 키보드나 마우스 입력을 실제 물리적인 움직임처럼 해석해, 카메라가 3차원 공간에서 어떻게 이동하는지를 정밀하게 계산한다. 이렇게 계산된 움직임 정보는 AI 모델에 그대로 반영돼, 화면 속 장면이 실제로 움직이는 것처럼 자연스럽게 생성된다.
이 카메라 정보는 단순히 움직임을 제어하는 역할을 넘어, 3D 공간을 계속 일관되게 유지하는 기준으로도 활용된다. AI는 현재 위치와 이전 위치를 비교해 과거 장면을 다시 불러오고 이어 붙이기 때문에, 사용자가 같은 장소로 돌아왔을 때도 환경이 그대로 유지된다. 덕분에 오랜 시간 탐험하더라도 화면이 깨지거나 구조가 바뀌지 않고 자연스러운 경험을 제공한다.
데이터 측면에서도 큰 진전이 있었다. 연구진은 실제 사람이 플레이한 게임 영상 약 3000분을 모아 ‘월드캠-50h’라는 대규모 데이터셋을 구축했다.
이 데이터에는 카메라 이동 경로와 장면 설명이 담겨 있어, 복잡한 움직임이나 빠른 시점 전환, 다양한 지형 탐험 등 실제 게임에서 나타나는 다양한 행동을 학습할 수 있도록 했다.
행동 제어 정확도 및 장기 시각 품질 평가 (사진=arXiv)
3D 공간 일관성 평가 (사진=arXiv)
인간 선호도 평가 (사진=arXiv)
실험 결과에서도 성능 향상이 확인됐다. 기존 인터랙티브 게임 월드 모델 대비 행동 제어 정확도, 장기 시각 품질, 3D 공간 일관성 등 주요 지표에서 모두 우수한 성능을 기록했다. 인간 평가에서도 세 항목 모두에서 가장 높은 점수를 받으며, 장기 시퀀스 생성 능력에서 강점을 보였다.
특히 이 모델은 수백 프레임에 걸친 장기 생성에서도 안정적인 품질을 유지하며, 키보드와 마우스 조작이 동시에 이루어지는 등 복잡한 사용자 입력에도 자연스럽게 반응하는 것으로 나타났다. 이는 AI가 단순 콘텐츠 생성 도구를 넘어, 실시간 인터랙티브 시스템으로 발전하고 있음을 보여준다.
연구진은 "이번 연구는 게임뿐 아니라 시뮬레이션, 로봇 학습, 메타버스 등 다양한 분야에 영향을 줄 가능성이 있다"라고 밝혔다.
특히 사용자의 행동에 따라 세계가 동적으로 생성되는 이같은 기술은 앞으로 ‘완전 생성형 게임’이나 ‘AI 기반 가상 환경’ 구축의 핵심으로 평가된다.
박찬 기자 cpark@aitimes.com
댓글
0