알리바바가 텍스트를 넘어 이미지·음성·영상까지 동시에 이해하고 이를 통해 바이브 코딩이 가능한 ‘옴니모달’ AI 모델을 공개했다.
알리바바는 30일(현지시간) 차세대 AI 모델 ‘큐원3.5-옴니(Qwen3.5-Omni)’를 공개했다. 텍스트뿐 아니라 이미지, 오디오, 영상 데이터를 별도의 변환 과정 없이 동시에 이해하고 생성할 수 있는 구조를 갖췄다.
이는 기존 AI 모델들이 음성이나 영상을 텍스트로 변환한 뒤 처리하는 방식과 달리, 모든 입력을 한번에 처리하는 ‘네이티브 옴니모달’ 접근이라는 점에서 차별화된다.
모델은 ▲플러스(Plus) ▲플래시(Flash) ▲라이트(Light) 세가지 버전으로 제공되며, 최대 25만6000 토큰의 긴 문맥 처리도 지원한다.
학습 규모도 눈에 띈다. 큐원3.5-옴니는 1억시간 이상의 오디오·영상 데이터를 포함한 대규모 멀티모달 데이터로 사전 학습돼, 복합적인 상황 이해와 생성 능력에서 높은 성능을 보인다.
초당 1프레임 속도로 10시간 이상의 오디오 입력과 400초 분량의 720p 영상까지 처리할 수 있으며, 113개 언어 음성 인식과 36개 언어 음성 생성 기능을 지원한다.
벤치마크 결과 (사진=알리바바)
성능 측면에서도 경쟁력이 강조된다. '큐원3.5-옴니-플러스'는 오디오 및 영상 이해·추론·번역 등 다양한 벤치마크에서 최상위 수준(SOTA)을 기록했으며, 특히 '제미나이 3.1 프로'를 오디오 이해와 추론 분야에서 능가한 것으로 평가됐다. 시각과 텍스트 성능도 동일 규모 모델과 동등한 수준을 유지한다.
이번 모델의 또 다른 특징은 실시간 상호작용 능력이다. 사용자의 발화를 인식해 적절한 타이밍에 대화를 이어가는 ‘의미 기반 인터럽트(semantic interruption)’ 기능을 지원하며, 잡음이나 단순한 반응에 의해 대화가 끊기는 문제를 줄였다. 또 ‘ARIA(Adaptive Rate Interleave Alignment)’ 기술을 통해 음성과 텍스트를 동적으로 정렬해 숫자나 특정 단어 발음이 어색해지는 문제도 개선했다.
이와 함께 음성 복제 기능도 제공된다. 사용자가 특정 음성을 업로드하면 AI가 해당 음성을 기반으로 응답할 수 있어, 개인화된 AI 경험이 가능하다. 실시간 웹 검색과 함수 호출 기능도 지원해 최신 정보 기반 응답이나 복잡한 작업 수행도 가능하다.
3/10 Audio-Visual Vibe Coding
pic.twitter.com/4SruDHarXl
— Tongyi Lab (@Ali_TongyiLab)
March 30, 2026
가장 주목되는 기능은 ‘시청각 바이브 코딩(Audio-Visual Vibe Coding)’이다. 영상이나 화면 녹화를 보고 별도의 텍스트 입력 없이 시청각 지시만으로도 코드를 생성하는 기능이다.
카메라에 비치는 공간의 분위기나 사용자의 음성 지시를 이해하고 이를 즉시 웹사이트나 게임으로 구현하는 것을 말한다. 앞으로 AI가 개발 환경에 직접 개입할 수 있는 새로운 패러다임을 제시한다.
아키텍처 측면에서는 ‘싱커-토커(Thinker-Talker)’ 구조를 유지하면서도 효율성을 개선했다. 싱커가 멀티모달 입력을 이해하고 텍스트를 생성하면, 토커가 이를 바탕으로 자연스러운 음성을 생성하는 방식이다. 여기에 스트리밍 입력과 출력 구조를 결합해 실시간 대화가 가능하도록 설계됐다.
비용 경쟁력도 강조다. 플래시 버전은 100만 토큰당 약 0.1달러 수준의 가격으로 제공돼, 고성능 AI 모델 가운데서도 비교적 낮은 비용으로 활용할 수 있는 것이 특징이다.
큐원3.5-옴니는 현재 API 형태로 제공되며,
큐원 챗(Qwen Chat)
이나
허깅페이스
의 온라인 데모를 통해 직접 테스트해 볼 수 있다.
박찬 기자 cpark@aitimes.com
댓글
0