모티프 요청에 4개팀 세부 평가점수 공개
업스테이지·LG AI 연구원·모티프 뒤이어
과기정통부
정부가 ‘독자 인공지능(AI) 파운데이션 모델’(독파모) 프로젝트 2차 단계평가에 참여한 4개 정예팀의 세부 평가점수를 전면 공개했다. 2차 평가에서 탈락한 모티프테크놀로지스가 평가 결과에 이의를 제기하며 세부 점수와 심사 근거 공개를 요구한 데 따른 것이다.
과학기술정보통신부는 27일 독파모 2차 단계평가 결과 SK텔레콤이 70.6점으로 종합점수 1위를 차지했다고 밝혔다. 업스테이지(69.9점), LG AI연구원(69.0점), 모티프(65.8점)가 그 뒤를 이었다.
2차 단계평가는 벤치마크 평가 40점, 전문가 평가 35점, 사용자 평가 25점 등 총 100점으로 진행됐다.
벤치마크 평가는 글로벌 AI 모델의 범용 성능을 평가하는 AAII 점수 25점과 한국어·한국적 맥락을 비롯해 안전성·신뢰성 등을 평가하는 한국지능정보사회진흥원(NIA) 벤치마크 15점으로 구성됐다. 해당 항목에서는 모티프가 24.6점으로 가장 높은 점수를 받았다. 업스테이지는 22.7점, SKT는 22.2점, LG AI연구원은 20.6점을 받았다.
AAII 평가에서는 모티프가 11.9점으로 1위를 차지했다. 업스테이지가 9.4점, SKT가 8.8점, LG AI연구원이 7.8점으로 뒤를 이었다. NIA 벤치마크에서는 SKT가 13.4점으로 가장 높았고 업스테이지 13.3점, LG AI연구원 12.8점, 모티프 12.7점 순이었다.
전문가 평가는 개발 전략·기술 10점, 개발 성과·계획 10점, 파급효과·기여계획 15점 등 총 35점으로 이뤄졌다. LG AI연구원이 29.5점으로 가장 높은 점수를 받았고, SKT 29.3점, 업스테이지 29.1점, 모티프 27.1점으로 집계됐다. 이 항목에는 산업계 3명, 학계 5명, 연구계 2명 등 외부 전문가 10명이 참여했다. 정예팀이 제출한 평가서류를 바탕으로 약 5일간 서면평가와 질의응답(Q&A)을 진행했으며, 평가위원별 최고·최저 점수를 제외한 나머지 점수를 산술평균해 최종 점수를 산출했다.
사용자 평가는 AI 스타트업 대표 등 전문 사용자 평가 15점과 일반 국민 평가 10점 등 총 25점으로 진행됐다. SKT가 19.1점(전문 사용자 11.6점·일반 국민 7.5점)으로 가장 높은 점수를 받았고 LG AI연구원 18.9점(11.3점·7.6점), 업스테이지 18.1점(10.8점·7.3점), 모티프 14.1점(8.4점·5.7점)으로 집계됐다.
과기정통부는 당초 참여 기업에 미칠 영향을 고려해 세부 점수 공개에 신중한 입장이었다. 하지만 이날 모티프가 이의를 제기하며 평가 결과 공개를 요구하자 나머지 정예팀의 동의를 거쳐 세부 점수를 공개하기로 했다.
과기정통부는 “독파모는 단순한 순위 경쟁이나 탈락 팀 선정이 아닌 국내 AI 생태계의 질적 성장과 확장을 위한 것”이라며 “빠른 AI 기술 진화 상황을 고려해 6개월마다 개발 목표를 변경(무빙타겟)하고 있으며 평가 기준과 방식 역시 정예팀들의 사전 협의를 거쳐 이견 없이 확정해 진행했다”고 설명했다.
이혜선 기자(hslee@dt.co.kr)
댓글
0