모티프3, 글로벌 성능 평가에서
SK텔레콤·LG AI연구원 앞질러
정부의 ‘독자 인공지능(AI) 파운데이션 모델’(독파모) 후발주자인 모티프테크놀로지스가 글로벌 성능 평가에서 SK텔레콤·LG AI연구원 등을 앞지르는 이변을 일으켰다.
13일 글로벌 AI 평가기관 아티피셜 애널리시스에 따르면 최신 ‘인텔리전스 지수(AAII) v4.1.1’에서 모티프의 ‘모티프3’는 47점을 기록해 독파모 참여 4개 모델 중 최고 점수를 받았다.
업스테이지의 ‘솔라 오픈2’가 37점, SK텔레콤의 ‘A.X-K2’가 35점, LG AI연구원의 ‘K-엑사원 2.0’이 31점으로 뒤를 이었다. 지난해 12월 독파모 1차 평가에서 벤치마크 종합 1위였던 LG AI연구원이 4위로 내려앉았다.
모티프3의 점수는 제미나이 3.6 플래시(52점), GPT-5.6 루나 맥스(52점)보다 낮고 미니맥스 M3(45점)보다 높은 수준이다. 모티프3는 총 3140억개 매개변수를 갖춘 전문가혼합(MoE) 모델로, 추론 때는 132억개만 활성화한다. 아티피셜 애널리시스는 모티프3를 같은 규모의 오픈웨이트 모델 104개 가운데 지능 성능 6위로 평가했다.
다만 이번 순위가 독파모 최종 순위를 뜻하는 것은 아니다. 2차 평가 100점 가운데 AAII가 차지하는 비중은 25점이다. 정부의 자체 벤치마크 15점과 전문가 평가 35점, 사용자 평가 25점을 합산해 최종 결과를 정한다.
또 아티피셜 애널리시스의 평가는 에이전트·코딩·과학적 추론 등을 평가하는 영어 텍스트 중심 지표로 한국어 성능은 포함하지 않는다. 일각에서는 공개된 시험문제나 유사 데이터에 맞춰 모델을 최적화하는 이른바 ‘벤치마크 게이밍’ 가능성 때문에 단일 벤치마크 점수가 실제 서비스 성능을 온전히 보여주기 어렵다는 지적도 나온다.
정부는 4개 팀 가운데 1곳을 탈락시키는 독파모 2차 평가 결과를 조만간 발표할 예정이다.
댓글
0