[디지털투데이 황치규 기자]중국 AI 스타트업 문샷AI가오픈소스 거대 언어 모델 키미(Kimi) 시리즈 최신 버전 키미-K2.6(Kimi-K2.6)을 공개했다고 실리콘앵글이 21일(현지시간) 보도했다.
여러 AI 벤치마크들에서 GPT-5.4와 클로드 오퍼스 4.6을 능가한다는 게 문샷AI 설명이다.
키미-K2.6은 하드웨어 효율이 높고 LLM 학습 과정을 단순화하는 스위시 게이티드 리니어 유닛(SwiGLU) 활성화 함수에 기반한다. 이 알고리즘은 메타 라마 시리즈 등 여러 오픈소스 LLM들에도 통합돼 있다.
키미-K2.6 모델 구조는 384개 '전문가(expert)'들로 이뤄진다. 각 전문가는 특정 작업에 최적화된 소형 신경망이다. 프롬프트를 받으면 8개 전문가만 응답 생성에 동원돼 하드웨어 사용량을 줄인다. 기존 어텐션 메커니즘보다 하드웨어 효율이 높은 멀티헤드 레이턴트 어텐션(MLA) 기술로 프롬프트에서 가장 중요한 부분을 식별한다.
4억개 파라미터 비전 인코더도 탑재해 텍스트뿐 아니라 멀티미디어 입력도 처리할 수 있다. 이를 기반으로 사용자 지시와 인터페이스 스케치만으로 완성된 웹사이트를 만들 수 있다고 문샷AI는 설명했다.
오래 걸리는 복잡한 작업을 처리할 때는 최대 300개 에이전트들을 동시에 실행한다. 전체 작업을 여러 조각으로 나눈 뒤 에이전트들이 각 조각을 동시에 처리해 순차 실행보다 빠르게 완료한다.
인간과 에이전트가 작업을 나눠 수행하는 클로 그룹(claw groups)' 기능도 제공한다. 러스트(Rust) 언어 같은 저수준 프로그래밍 역량도 이전 버전보다 개선됐다.
댓글
0