120B급으로 확대 및 양자화 적용
롯데이노베이트는 자사 AI 플랫폼 아이멤버의 언어모델을 업그레이드하며 엔터프라이즈 생성형AI 시장 공략에 박차를 가한다고 26일 밝혔다.
롯데이노베이트는 사용자 질문에 더 깊이 있는 설명과 논리적인 답변을 제공하는 방향으로 언어모델을 고도화했고, 복잡한 질의에도 맥락을 정리해 답변을 구성하는 데 강점을 보인다고 설명했다. 이를 위해 파라미터(매개변수)를 기존 320억개(32B)에서 1200억개(120B)로 크게 확대했다.
롯데이노베이트에 따르면 업그레이드된 언어모델은 수능 국어 영역 기반의 ‘수능국어QA(CSATQA)’에서 78.31점을 기록한 데 이어, 한국어 종합 능력을 평가하는 ‘해례 벤치(HAE_RAE BENCH)’(78.15점), ‘전문 지식 추론(KMMLU-Pro)’(60.67점), ‘수학 추론(HRM8K-MMMLU) (92.98점) 등 4대 주요 지표에서 주요 오픈소스 모델 대비 우수한 성능을 입증했다. 카카오(Kakao) 벤치마크에서도 국내 타사 모델을 상회하는 경쟁력을 확인했다.
이로써 롯데이노베이트는 글로벌 상용 모델에 준하는 한국어 처리 역량을 확보했다고 강조했다. 외부 API에 의존하지 않고 자체 인프라에서 운영 가능한 오픈소스 기반 구축형 모델로, 기업 환경에서 가장 중요하게 여겨지는 데이터 보안성과 컴플라이언스 및 커스터마이징 유연성을 모두 갖췄다.
속도와 효율성도 크게 개선됐다. 양자화(Quantization) 기술이 적용된 최신 모델 아키텍처를 기반으로 시스템을 최적화, 동일한 GPU 자원 환경에서 추론 속도를 기존 대비 약 3배 향상시켰다는 게 회사의 설명이다. 기존 32B 모델 운영 인프라만으로도 120B급 대형 모델을 안정적으로 구동할 수 있게 됐고 사용자 체감 응답 속도도 빨라졌다.
글로벌 업무 환경을 고려한 다국어 지원도 강화됐다. 기존 한국어 중심이던 플랫폼에 영어와 일본어를 추가했으며, 단순 번역을 넘어 해당 언어로 플랫폼을 직접 조작하고 사용할 수 있도록 UI·UX를 확장했다. 해외 계열사 및 법인에서도 아이멤버를 원활하게 도입할 수 있는 기반을 마련했다.
롯데이노베이트 관계자는 “앞으로도 아이멤버의 성능과 속도, 보안 수준을 지속적으로 업그레이드하는 한편, 산업 및 업무 특화 모델을 꾸준히 발전시켜 기업들의 AI 혁신을 이끌겠다”고 말했다.
댓글
0