컨슈머타임스=강나연 기자 | 네이버가 '독자 AI 파운데이션 모델'(이하 독파모) 개발 프로젝트 과장에서 문제가 됐던 중국 비전 인코더를 배제하고 자체 개발한 비전 인코더를 자사 AI 모델에 전면 적용하기로 했다.
이를 통해 중국 오픈소스 인코더 사용으로 제기됐던 독자성 논란을 해소하고 한국어·한국 문화 맥락에 특화된 멀티모달 경쟁력을 확보하려는 포석으로 풀이된다.
17일 IT 업계에 따르면 네이버클라우드는 지난달 초 독자적인 비전 인코더 개발을 마무리하고 앞으로 개발하는 멀티모달 모델 전반에 이를 적용하기 위한 내부 전환 작업을 진행 중이다.
비전 인코더는 이미지와 영상 같은 정보를 AI가 이해할 수 있는 형태로 변환하는 모듈이다. 텍스트뿐 아니라 이미지, 음성, 영상 정보를 종합적으로 다루는 멀티모달 모델에서는 핵심 기반 기술로 꼽힌다.
네이버클라우드가 새로 개발한 비전 인코더는 기존의 자체 인코더 기술인 'VUClip'보다 성능을 한층 개선한 것으로 오픈소스 생태계에서 활용성이 검증된 큐웬 등 최상위권 모델의 인코더와 유사한 수준의 성능을 확보한 것으로 알려졌다.
앞서 네이버클라우드는 올해 초 정부 주도의 독파모 프로젝트에 참여하는 과정에서 자사 멀티모달 모델인 '하이퍼클로바X 시드 32B 싱크'에 알리바바의 큐웬 2.5 비전 인코더와 가중치를 일부 차용해 논란에 휩싸였다.
독파모가 학습 초기부터 전 과정을 자체 기술로 구축하는 '프롬 스크래치(from scratch)'를 지향한다는 점에서 프로젝트 취지와 맞지 않는다는 비판이 제기되면서다.
당시 네이버클라우드는 그러나 "비전 인코더는 언제든 교체할 수 있고, 교체가 불가능한 핵심 영역도 아니"라고 밝힌 바 있다.
다만 이미 오픈소스로 배포된 '하이퍼클로바X 시드 32B 싱크'의 인코더 교체 여부는 결정되지 않은 것으로 전해졌다.
새로 개발한 비전 인코더는 학습 단계부터 한국어 중심 구조로 설계됐다는 점이다. 이미지와 언어를 연결하는 과정에서 별도 번역 단계를 거치지 않아도 된다.
기존의 글로벌 인코더가 제주 '하르방' 이미지를 '석상'(Statue)이라는 영어 단어로 인식했다면 네이버 모델은 이를 곧바로 '하르방'이라는 고유한 한국어 표현으로 인식하는 식이다.
네이버클라우드 관계자는 "한국어와 이미지를 직접 연결하도록 설계돼 정보 왜곡 없이 우리나라 문화 특유의 맥락을 읽어낼 수 있는 점이 차별점"이라며 "한국의 지리나 문화, 고유 명사가 포함된 시각 데이터를 다룰 때 외산 모델과는 차원이 다른 독보적인 정확도를 보여줄 것"이라고 강조했다.
댓글
0