[월드 모델②] 가상 샌드박스와 실시간 데이터 정합성 기준으로 구축해...

단순 자동화 넘어 스스로 학습하는 ‘폐쇄형 루프’ 완성

옴니버스·3D 유니버스 등 파운데이션 플랫폼 경쟁 치열

디지털 트윈 결합해 비용 절감·수율 향상 실현 ··· 범용 로봇 지능 시대 정조준

[데이터넷] 엔비디아는 피지컬 AI 개발을 위해 ‘코스모스’ 플랫폼과 ‘옴니버스’ 인프라를 연계해 가상과 현실을 통합하는 생태계를 제공한다. 코스모스는 세부적인 파운데이션 모델들로 구성되어 있으며, ‘코스모스 프리딕트(Cosmos-Predict)’는 텍스트나 비디오 입력을 바탕으로 세계의 미래 상태를 영상으로 예측하고 시뮬레이션하는 특화 기능을 지원한다.

또한 ‘코스모스 리즌(Cosmos-Reason)’은 피지컬 AI 및 로보틱스를 위한 시각 언어 모델(VLM)로, 로봇이 공간, 시간, 물리 법칙을 이해하고 인간처럼 추론하며 다음 행동을 계획하도록 돕는다.

다중 모달리티 입력을 지원하는 ‘코스모스 트랜스퍼(Cosmos-Transfer)’는 시뮬레이션과 현실 간의 전이(Sim2Real) 응용을 구체화한다.

이러한 코스모스 플랫폼은 오픈USD와 결합된 차세대 디지털 트윈 환경인 옴니버스 위에서 작동한다. 엔비디아의 옴니버스 기반 디지털 트윈은 생성형 AI 및 가속 컴퓨팅 혜택을 받아 물리적으로 정확한 재료, 조명, 동작을 통합 시뮬레이션한다.

이는 단순한 시각화를 넘어 피지컬 AI 시스템의 탄생지이자 안전한 샌드박스로 기능한다. 실제로 폭스콘(Foxconn)은 공장의 레이아웃 최적화를 위해 디지털 트윈을 도입해 가상 환경에서 AI 로봇 애플리케이션을 훈련하고 있으며, 키온(KION) 그룹은 실제 배포 전 가상 창고 환경에서 지능형 로봇 플릿(Fleet)을 대규모로 테스트하고 있다.

엔비디아는 물리 엔진과 결합된 고충실도 시뮬레이션 환경을 통해 자율 기계의 오작동 위험을 줄이고 피지컬 AI 파이프라인의 완성도를 높이는 전략을 실행 중이다.

범용 로봇 지능 시대 박차

구글 딥마인드는 로봇이 과업을 스스로 학습하고 수행할 수 있도록 지원하는 로봇 모델 ‘RT-X’와 월드 시뮬레이터 ‘지니(Genie)’ 시리즈를 통해 기술을 고도화하고 있다. 최신 ‘제미나이 로보틱스(Gemini Robotics)’ API는 멀티모달 모델을 통해 로봇이 인간의 자연어 명령을 이해하고, 시각적 정보와 결합해 물리적 행동을 계획하도록 돕는다.

특히 대규모 비디오 학습을 통해 세계의 움직임을 예측하는 최신 월드 모델 ‘지니 3(Genie 3)’는 텍스트 프롬프트만으로 초당 24프레임(fps)의 720p 해상도로 수 분간 실시간 탐험이 가능한 동적이고 상호작용적인 3D 환경을 생성한다.

지니 3는 특정 환경에 국한되지 않고 다양한 영상 데이터를 통해 사물의 질감, 반사, 인과관계를 학습해 로봇에게 일종의 ‘현실 상식’을 부여하며, 별도의 코딩 없이도 AI가 새로운 환경에 적응하는 ‘제로샷(Zero-shot)’ 로봇 학습 능력을 현실화하고 있다.

이에 더해 구글은 지니 3를 기반으로 한 실험적 연구 프로토타입인 ‘프로젝트 지니(Project Genie)’를 구글 랩스(Google Labs)를 통해 공개하며 응용 생태계를 확장하고 있다.

사용자는 프롬프트를 통해 자신만의 세계를 구축하고 카메라 앵글을 조정하며 공간을 탐험할 수 있으며, 기존에 생성된 프롬프트를 바탕으로 새로운 영감을 더하는 ‘월드 리믹스(World remixing)’ 기능까지 지원한다.

구글은 향후 수백만 단위의 시뮬레이션 궤적을 통해 학습된 ‘로보틱스 네이티브 제미나이’를 활용해 물리적 작업을 인간처럼 능숙하게 처리하는 AI 에이전트 보급을 주도할 계획이다.

3D익스피리언스 가상 성능 검증 / 다쏘시스템

생성형 경험 기반 자율 운영 기지 구축

다쏘시스템은 기존의 정적인 디지털 트윈의 한계를 극복하고, 과학적 정밀도와 실시간성이 결합된 ‘버추얼 트윈 익스피리언스(Virtual Twin Experience)’를 통해 피지컬 AI를 위한 실질적인 월드 모델 인프라를 구축하고 있다. 최근 새롭게 공개한 7세대 아키텍처 ‘3D 유니버스(3D UNIV+RSES)’는 글로벌 IP 수명주기 관리(IPLM)의 핵심인 ‘3D익스피리언스(3DEXPERIENCE)’ 플랫폼에 다중 생성형 AI 기술을 탑재하며 피지컬 AI 생태계의 새로운 패러다임을 제시한다.

김종국 다쏘시스템코리아 기술영업 본부장은 “미래의 산업 현장은 실시간 데이터와 AI를 기반으로 스스로 최적화되는 자율적이고 적응형 시스템으로 진화할 것”이라며 “버추얼 트윈은 제품의 초기 설계부터 생산 공정, 공장 전체의 물류 흐름과 공급망까지 이르는 거대한 가치 사슬을 단일 가상 플랫폼에서 시뮬레이션해, 다양한 비즈니스 시나리오와 돌발 변수를 사전에 완벽히 검증하도록 지원한다”고 강조했다.

다쏘시스템이 지향하는 궁극적인 목표는 데이터, 과학 기반 시뮬레이션, AI가 유기적으로 결합해 스스로 학습하고 성능을 극대화하는 ‘생성형 경험(Generative Experiences)’ 중심의 산업 생태계다. 3D 유니버스는 기업의 핵심 자산인 지식재산(IP)과 검증된 물리 법칙을 보호하는 동시에 AI 엔진을 훈련할 수 있는 최적의 환경을 제공한다.

특히 피지컬 AI 고도화 측면에서 다쏘시스템의 버추얼 트윈은 서비스형 버추얼 트윈(VTaaS)을 통해 로봇과 자율 시스템의 ‘디지털 연수원’ 역할을 수행한다. AI 에이전트와 로봇은 장비 마모나 안전사고의 위험이 없는 가상 환경에서 수만 번의 강화학습과 시뮬레이션을 거치며 정교한 물리적 감각과 제어 로직을 익힌다.

이후 실제 제조 현장에 투입되어 과업을 수행하며, 이때 센서를 통해 수집된 현장의 실시간 운영 데이터는 다시 버추얼 트윈으로 전송되어 AI 알고리즘을 지속적으로 고도화하는 ‘폐쇄형 루프(Closed-loop)’를 완성한다.

이러한 기술적 기반 위에서 기업은 단순한 자동화를 넘어 개인화된 제품을 대량으로 생산하는 ‘대량 맞춤화(Mass Customization)’를 유연하게 실현할 수 있다. 또한 불필요한 물리적 프로토타입 제작과 테스트 과정을 줄여 탄소 배출과 에너지 사용을 최소화하는 지속 가능한 지능형 공장 구현이 가능해진다.

다쏘시스템은 3D 익스피리언스를 에이전틱 플랫폼으로 진화시키고 있다. 이를 통해 현장의 전문 인력이 데이터 분석과 모델링 능력을 갖춘 AI 기반의 ‘버추얼 동료(Virtual Companion)’와 협업할 수 있다. 다쏘시스템의 버추얼 동료 아우라(Aura), 레오(Leo), 마리(Marie)는 산업 맥락을 이해하고 엔지니어에게 실행 가능한 인사이트를 제공함으로써 지속적인 학습과 활용을 지원한다.

디지털 트윈 컴포저로 지능형 제조 구현

지멘스는 엔비디아와의 파트너십을 바탕으로 대규모 산업용 메타버스 환경을 구축하는 ‘디지털트윈 컴포저(Digital Twin Composer)’를 통해 피지컬 AI 생태계를 확장하고 있다.

지멘스의 포트폴리오에서 생성된 2D·3D 디지털 트윈 데이터를 실시간 물리 데이터와 결합하고, 엔비디아 옴니버스(Omniverse) 환경을 활용해 포토리얼리스틱 시각 환경을 구현하는 것이 특징이다.

이를 통해 기업은 가상 환경에서 신속하게 대규모의 의사결정을 내리고, 제품과 공정 전반의 수명 주기에 걸쳐 데이터를 시뮬레이션할 수 있다.

실제로 펩시코(PepsiCo)는 지멘스의 디지털트윈 컴포저를 도입해 물류 시설 내 기계, 컨베이어, 팔레트 이동 경로, 작업자 동선을 물리적 수준으로 정밀하게 재현했다. 가상 환경 내에서 AI 에이전트가 시스템 변경 사항을 시뮬레이션하고 검증한 결과, 물리적 수정 이전에 잠재적 문제의 최대 90%를 사전에 식별했다.

펩시코는 이 접근 방식을 통해 처리량을 20% 늘리고 자본적 지출(Capex)을 10~15% 절감하는 동시에 설계 검증 정확도를 100%에 가깝게 끌어올렸다.

지멘스의 솔루션은 설계, 시뮬레이션, 운영을 하나의 맥락 기반 디지털 트윈 모델로 통합함으로써, 엔지니어가 가상 세계에서 설비를 설계하고 피지컬 AI 로봇이 이를 조립하는 SDM 환경의 기반이 되고 있다.

엣지 AI 기반 실시간 물리 제어

로크웰 오토메이션은 산업용 자동화 시스템이 직면하는 근본적인 문제를 해결하며 피지컬 AI의 기반을 다지고 있다.

일반적으로 두 시스템은 실제 공장의 시운전 단계에서 처음 연결되며, 이때 발생하는 오류와 지연은 막대한 비용 손실로 이어진다. 로크웰은 자사의 동적 디지털 트윈 소프트웨어인 ‘에뮬레이트3D(Emulate3D)’를 통해 금속을 자르고 콘크리트를 붓기 전인 설계 초기 단계에서 기계 및 장비의 CAD 모델과 제어 시스템 간의 불일치를 해결한다.

이를 통해 기계 시스템과 제어 논리의 조합을 가상 환경에서 안전하게 관찰하고 테스트 및 디버깅할 수 있는 ‘가상 시운전(Virtual Commissioning)’ 환경을 제공한다. 특히 새롭게 선보인 ‘에뮬레이트3D’는 언리얼(Unreal) 렌더링 엔진을 도입해 대규모의 복잡한 시스템을 고품질로 시각화하는 성능을 대폭 향상시켰다.

개발자들은 기본 탑재된 깃(Git) 버전 관리 시스템과 자동화된 ‘테스트 러너(Test Runner)’를 활용해 PLC 코드, 로봇 프로그램, 창고 관리 시스템(WMS) 등 외부 제어 코드의 신뢰성을 가상 환경에서 반복 검증할 수 있다.

또한 ‘팩토리 테스트(Factory Test)’ 기능을 통해 여러 대의 컴퓨터에 분산된 모델을 동기화하고, 엔비디아 옴니버스(Omniverse)와 연동해 공장 전체를 단일 뷰(Single View)로 통합 및 시각화하는 월드 스케일의 시뮬레이션을 구현했다.

나아가 매트랩(MATLAB), 앤시스(Ansys) 등과의 FMI(Functional Mock-up Interface) 기반 다중 물리(Multiphysics) 소프트웨어 공동 시뮬레이션을 지원한다.

이를 통해 탱크 내 열화학 반응이나 복잡한 기계적 장력 모델과 같은 고도의 물리 법칙까지 버추얼 트윈에 정밀하게 반영함으로써, 자율 기계가 현실의 제약 조건 속에서 완벽하게 작동하도록 돕는 강력한 피지컬 AI 학습 인프라를 완성해가고 있다.

인간 중심 로보틱스로 차세대 모빌리티 박차

현대자동차그룹은 CES 2026에서 선포한 ‘인간 중심의 AI 로보틱스(Human-Centered AI Robotics)’ 전략을 통해 피지컬 AI 시대의 새로운 제조 패러다임을 제시하고 있다.

전략의 핵심인 ‘인간 중심’은 단순히 로봇이 인간의 일자리를 대체하는 것이 아니라, 인간이 직면한 육체적 한계와 위험을 로봇이 분담함으로써 인류의 삶의 질을 높인다는 ‘인간 중심의 진보(Partnering Human Progress)’ 철학에 뿌리를 둔다.

현대차는 이를 실현하기 위해 하드웨어 중심의 제조 공정을 소프트웨어가 주도하는 ‘소프트웨어 정의 공장(SDF)’으로 체질을 개선하고 있다.

현대차의 AI 팩토리 고도화는 엔비디아의 블랙웰 AI 인프라와 옴니버스 플랫폼을 기반으로 한 ‘월드 모델’ 구축에서 시작된다. 현대차는 지난 수십 년간 자동차 생산 현장에서 축적한 방대한 제조 노하우와 물리적 데이터를 디지털화해 고정밀 버추얼 트윈 환경에 이식했다.

이는 단순히 시각적인 복제에 그치지 않고, 공정 내 부품의 질량, 조립 시 가해지는 토크, 작업자의 인체공학적 동선 등 제조업 특유의 ‘물리적 상식’을 소프트웨어 지능으로 전환한 것이다.

이렇게 구축된 가상 학습장에서 아이작 심(Isaac Sim)을 통해 훈련받은 보스턴 다이내믹스의 휴머노이드 로봇 ‘아틀라스’와 산업용 로봇들은 실제 라인에 투입되기 전 최적의 작업 궤적을 스스로 찾아내며 ‘심투리얼’의 간극을 최소화한다.

특히 현대차는 자사의 제조 현장을 하나의 거대한 ‘AI 데이터 팩토리’로 정의하고, 가상 환경에서 도출된 최적의 제어 로직을 실제 공정에 즉시 배포하는 ‘에이전틱 오케스트레이션’ 체계를 갖췄다.

현장에서 발생하는 실시간 데이터를 다시 버추얼 트윈으로 피드백해 시스템을 지속적으로 자가 학습시키는 선순환 구조는 숙련공의 감각에 의존하던 기존 방식에서 탈피해 데이터 기반의 지능형 운영 체제로의 완전한 전환을 의미한다.

현대차그룹은 모빌리티를 넘어 제조 산업 전반의 인지 지능 수준을 한 단계 끌어올리는 혁신에 박차를 가하고 있다.

산업 경쟁력 확보 위한 가상 학습장 경쟁

글로벌 빅테크 기업들은 물리 세계를 이해하고 재현하는 ‘월드 파운데이션 모델’ 구축에 속도를 내고 있다. 선도 기업들은 이 범용 모델을 각자의 산업 현장에 적용해 운영 효율화, 품질 개선, 비용 절감 등 실질적인 비즈니스 성과로 연결하고 있다.

이에 따라 기업들은 단순한 자동화 설비 도입을 넘어, 물리 세계의 작동 원리와 변화를 스스로 학습하고 예측할 수 있는 ‘월드 모델’을 핵심 자산으로 내재화해야 하는 단계에 진입하고 있다.

결국 피지컬 AI 경쟁의 핵심은 두 가지로 수렴된다. 하나는 얼마나 정교하고 방대한 ‘가상 학습 환경’을 구축했는지이며, 다른 하나는 가상과 현실의 데이터를 얼마나 정합성 있게 연결하고 실시간으로 동기화할 수 있는지다. 이 두 요소가 결합될 때, AI는 단순한 자동화를 넘어 실제 환경에서의 의사결정과 최적화를 주도하는 수준으로 진화할 수 있다.

향후 산업 경쟁력은 물리적 자산의 규모보다 해당 자산을 가상 환경에서 얼마나 정밀하게 모사하고 제어하며 지속적으로 최적화할 수 있는 ‘지능의 깊이’에 의해 좌우될 것이다. 가상과 현실이 실시간으로 상호작용하며 스스로 학습·진화하는 ‘에이전틱 엔터프라이즈’ 시대가 도래하면서, 월드 모델 기반의 피지컬 AI는 더 이상 선택이 아닌 필수 인프라로 자리 잡을 전망이다.

Tag