HY-임바디드-0.5의 MoT 아키텍처. MoT는 시각 토큰과 텍스트 토큰의 처리를 분리하는 것이 핵심이다. 이를 위해 모달리티별로 독립적인 QKV 및 FFN 레이어와 서로 다른 어텐션 메커니즘을 적용한다. (사진=텐센트)
이미지를 이해하는 데 그쳤던 AI가 이제 현실 세계에서 직접 판단하고 행동하는 단계로 진화하고 있다. 텐센트도 공간을 인식하고 시간의 흐름 속에서 행동까지 수행할 수 있도록 설계된 로봇용 파운데이션 모델을 내놓았다.
텐센트는 10일(현지시간) 현실 세계에서 작동하는 로봇과 에이전트를 위한 차세대 파운데이션 모델 ‘HY-임바디드-0.5(HY-Embodied-0.5)’를 공개했다. 기존 비전-언어 모델(VLM)의 한계를 넘어 실제 물리 환경에서의 인식·판단·행동까지 통합한 것이 핵심이다.
기존 비전-언어 모델(VLM)은 정적인 이미지를 해석하는 데는 뛰어나지만, 로봇처럼 물리 세계에서 행동해야 하는 환경에서는 부정확한 공간 인식과 제한된 추론 능력으로 인해 한계를 드러냈다. 현실 세계에서는 사물의 위치, 거리, 물리적 상호작용이 매우 정밀하게 계산돼야 하기 때문이다.
텐센트는 이러한 문제를 단순한 성능 개선이 아닌, 모델 구조와 학습 방식 전반의 재설계를 통해 해결하고자 했다.
이번 모델은 두가지 버전으로 구성된다. 경량형 ‘MoT-2B’는 총 40억개 매개변수 중 20억개만 활성화하는 구조로, 혁신적인 하이브리드 트랜스포머 아키텍처를 적용해 엣지 환경 배포와 실시간 응답에 초점을 맞췄다.
대형 ‘MoE-32B’는 총 4070억개 매개변수 중 320억개를 활성화하는 구조로, 복잡한 추론과 최고 수준의 성능을 목표로 설계됐다. 특히 두 모델 간 성능 격차를 줄이기 위해 대형 모델의 능력을 소형 모델로 이전하는 ‘온-폴리시 증류(on-policy distillation)’ 기법이 적용됐다.
We're releasing HY-Embodied-0.5, a family of foundation models for real-world embodied agents. The 2B model is now open source.
It strengthens spatial-temporal perception and embodied reasoning for prediction, interaction, and planning.
The suite includes:
2B for edge…
pic.twitter.com/r2nplyxMTf
— Tencent HY (@TencentHunyuan)
April 10, 2026
기술적으로는 ‘트랜스포머 혼합(MoT·Mixture-of-Transformers)’ 구조가 핵심이다. 이미지와 텍스트를 따로 처리해 서로 방해하지 않도록 한 방식이다.
여기에 ‘비주얼 잠재 토큰’이라는 기술을 더해 이미지와 텍스트의 연결도 정확하게 만들었다. 덕분에 AI는 복잡한 장면에서도 사물을 더 정밀하게 파악하면서, 전체 상황까지 잘 이해할 수 있게 됐다
학습 방식도 강화됐다. 1억건 이상의 체화형 데이터와 대규모 멀티모달 데이터셋을 기반으로 사전 학습을 진행한 뒤, 강화 학습과 반복적 자기 진화를 결합해 모델의 추론 능력을 지속적으로 개선했다.
특히 오류가 발생하는 순간 대형 모델이 개입해 수정 방향을 제시하는 구조를 통해 소형 모델의 성능을 끌어올렸다는 설명이다.
벤치마크 결과 (사진=텐센트)
성능 검증에서도 경쟁력을 입증했다. 22개 벤치마크를 통한 결과, MoT-2B 모델은 동급 모델 대비 16개 항목에서 최고 성능을 기록했다. MoE-32B는 '제미나이 3.0 프로' 등 최상위 모델과 유사한 수준의 성능을 달성했다.
실제 로봇 적용에서도 의미 있는 결과가 나왔다. 텐센트는 이 모델을 기반으로 ‘비전-언어-행동(VLA)’ 모델을 구축해 로봇 제어에 적용했으며, 물체 정리, 적재, 매달기 등 다양한 작업에서 기존 모델 대비 향상된 성능을 확인했다.
이는 단순한 이론적 성과를 넘어 실제 물리 환경에서도 활용 가능함을 보여주는 사례다.
한편, 텐센트는 이미 2018년부터 로봇의 운동 제어와 멀티모달 AI 등을 연구해 왔다. 지난 2024년에는 이번 모델의 전작에 해당하는 VLA '타이로스(Tairos)'를 공개했다.
이 밖에도 지난해 7월에는 자연어나 이미지만으로 인터렉티브한 3D 가상 세계를 생성할 수 있는 '훈위안 3D 월드 모델 1.0'을, 2026년 1월에는 자연어 프롬프트와 예상 동작 길이를 입력받아 3D 인체 모션 클립을 생성하는 ‘HY-모션 1.0’을 출시한 바 있다.
텐센트는 HY-임바디드-0.5 가중치와 코드를
허깅페이스
와
깃허브
에 공개했다.
박찬 기자 cpark@aitimes.com
댓글
0