서울대학교 공과대학은 도재영 전기정보공학부 교수 연구팀(AIDAS 연구실)이 텍스트와 이미지, 영상, 소리를 하나의 모델이 동시에 이해하고 만들어낼 수 있는 차세대 AI 파운데이션 모델 ‘다이닌-옴니(Dynin-Omni)’를 개발했다고 8일 밝혔다.
다이닌 옴니는 글자, 사진, 영상, 소리를 한 데 묶어 처리하며, 정보를 이해하고 결과를 생성하기까지 모든 과정을 하나의 모델 안에서 동시에 수행하는 네이티브 멀티모달 모델이다.
연구진은 AI 모델이 모든 감각 정보를 동시에 처리하는 새로운 구조를 설계해, 정보를 순서대로 하나씩 생성하는 기존 AI의 한계점을 극복했다고 설명했다. 글자부터 영상까지 모든 정보를 단일 모델이 동시에 이해하고 생성하는 진정한 ‘올인원’ 옴니모달(Omnimodal) AI를 구현했다는 것이다.
앞으로 로봇, AI 비서, 스마트 기기 등 AI 모델이 여러 형태의 정보를 동시에 이해하고 즉각 반응해야 하는 산업 분야에서 핵심 지능으로 활용될 것이라고 전망했다.
핵심 차별점은 세가지다. 첫째로, 모든 정보를 하나의 방식으로 통합해 처리한다고 강조했다. 기존 AI는 이미지나 음성 정보를 글자 중심으로 해석했다면, 다이닌-옴니는 모든 정보를 동일한 기준에 따라 있는 그대로 동시에 이해하는 구조다. 이에 따라 별도의 변환 과정 없이도 다른 형태의 정보를 정확하고 유기적으로 연결할 수 있다는 설명이다.
둘째, 결과물 전체를 한꺼번에 생성한 뒤 정교하게 다듬는 ‘디퓨전(diffusion)’ 방식으로 속도를 높였다는 설명이다. 단어를 하나씩 순서대로 생성하는 방법과는 달리, 결과물 전체의 윤곽을 먼저 잡는 동시에 완성도를 높이는 방식이다. 영상이나 음성처럼 용량이 큰 데이터도 더 빠르고 효율적으로 처리할 수 있게 된다.
마지막으로, 이해하는 지능과 생성하는 기능을 하나의 모델로 합쳤다고 강조했다. 여러 AI 모델을 복잡하게 조립해 사용하던 기존 모듈형 방식과 달리, 하나의 지능이 사람처럼 보고, 듣고, 말하는 모든 과정을 끊김 없이 수행한다.
벤치마크 결과 (사진=서울대)
모델의 성과는 실제 성능 평가에서도 두드러졌다.
총 19개의 글로벌 AI 성능 지표 평가(벤치마크)를 바탕으로 정보 추론, 영상 이해, 이미지 생성 및 편집, 소리 처리 등 작업에서 기존에 공개된 통합 모델들을 앞지르는 성과를 거둔 것으로 나타났다.
비교 대상이 된 네이버의 '하이퍼클로바 X 시드 8B 옴니'와 알리바바의 '큐원2.5-옴니', 싱가포르국립대의 '쇼-o2', 바이트댄스의 'BAGEL' 등은 지난해 출시된 오픈소스 옴니모델이다.
특히 기존 모델 대비 최대 4~5배 빠른 생성 속도를 구현하며 속도 측면에서도 강점을 보였다고 전했다. 더불어, 특정 분야에만 특화한 전문가용 AI 모델들과 비교해도 더 우수한 성능을 입증했다는 설명이다.
도재영 서울대학교 전기정보공학부 교수는 “이번 연구는 AI가 정보를 이해하는 능력과 결과물을 만들어내는 능력을 하나로 합쳐, 정보를 사람처럼 동시 처리하는 ‘통합 AI’의 가능성을 열었다는 점에서 큰 의미가 있다”라며 “앞으로는 단순히 화면 속 데이터를 처리하는 수준을 뛰어넘어, 사람과 실시간으로 소통하며 현실 세계에서 직접 작동하는 지능형 로봇이나 스마트 기기처럼 우리 삶에 실질적 도움을 주는 기술로 연구를 확장해 나갈 계획”이라고 말했다.
한편, 연구진들은 앞으로도 서울대 AI 및 빅데이터 시스템(AIDAS) 연구실에서 학업과 연구를 병행하며 다이닌-옴니 모델을 업그레이드할 계획이다.
이번 연구는 한국연구재단 이공분야 기초연구사업(우수신진)과 과학기술정보통신부 및 정보통신산업진흥원의 ‘고성능컴퓨팅 지원사업’의 지원으로 수행됐다.
장세민 기자 semim99@aitimes.com
댓글
0