AI 칩 전문 세레브라스가 문샷 AI의 1조 매개변수 오픈웨이트 모델 ‘키미 K2.6’을 기업 고객 대상으로 서비스하기 시작했다. 초당 약 1000토큰에 달하는 추론 속도를 달성하며 GPU 기반 AI 인프라 대비 압도적인 성능 우위를 내세우고 있다.
세레브라스는 최근 키미 K2.6을 기업 고객 시험 운영 환경에서 구동한 결과, 벤치마크 기업 아티피셜 애널리시스 기준 초당 981개 출력 토큰을 기록했다고 밝혔다.
이는 GPU 기반 클라우드 서비스 가운데 가장 빠른 경쟁사보다 6.7배, 업계 평균 대비 23배 빠른 수치다.
키미 K2.6 추론 속도 비교 (사진=아티피셜 애널리시스)
특히, 에이전트 코딩 작업에서 체감 차이가 극적으로 크다고 강조했다. 세레브라스의 시스템에서는 1만개 입력 토큰과 500개 출력 토큰이 포함된 복합 코딩 요청을 처리하는 데 단 5.6초가 걸렸다.
반면, 키미 공식 엔드포인트에서는 같은 작업에 163.7초가 소요됐다. 최종 응답 시간을 따지면 세레브라스 장치에서의 구동 속도가 약 29배 빠른 셈이다.
키미 K2.6 처리 시간 비교 (사진=아티피셜 애널리시스)
경쟁력은 독특한 하드웨어 구조에 있다. 기존 AI 추론 시장은 주로 엔비디아 GPU 클러스터 기반으로 운영된다. 하지만 대규모 모델에서는 여러 GPU 사이를 오가는 데이터 전송이 병목 현상을 일으킨다.
반면 세레브라스의 ‘WSE 3(Wafer-Scale Engine 3)’는 웨이퍼 전체를 하나의 거대한 칩으로 사용하는 구조다. 접시 크기에 가까운 단일 칩 안에 대용량 SRAM 메모리를 집적해 지연을 최소화했다. 키미 K2.6의 경우, 20대 규모 CS-3 시스템 클러스터 위에서 동작하며, 모델 가중치를 4비트로 저장하고 연산은 16비트 부동소수점으로 처리한다.
세레브라스는 칩 내부 네트워크 대역폭이 엔비디아 'NVL72' 시스템에 비해 200배 이상 높다고 설명했다. 이를 통해 전문가 혼합(MoE) 구조의 거대 모델도 초당 1000토큰에 가까운 속도로 처리할 수 있다는 것이다.
이번 서비스를 일반 소비자 대상 API로 공개하지 않고, 포춘 500대 기업 중심의 엔터프라이즈 고객에게 우선 제공하고 있다. 현재 소프트웨어, 금융, 헬스케어 분야 주요 기업들이 실제 업무 환경에서 시험 운영 중인 것으로 알려졌다.
한편, 세레브라스는 지난 14일 상장 직후 주가가 68% 폭등하는 등 2019년 우버 이후 최대 규모의 테크 기업 IPO 중 하나로 기록됐다. 현재는 일부 차익 실현 매물로 인해 첫날 고점보다 약 17% 하락하며 조정을 거치고 있다.
박찬 기자 cpark@aitimes.com
댓글
0