"AI 답변 비용 최대 6배 낮춘다?"…구글 '터보퀀트' 뭐길래 [터보퀀트 쇼...

KV 캐시 저비트 압축 기술 공개…메모리 점유율 1/6로 줄여 비용 혁신

GPU 한 대당 처리량 최대 8배 증가 기대, API 가격 인하 경쟁 촉발 가능성

실서비스 검증 여부 주목…확인될 경우 AI 인프라 투자·경쟁 구도 재편

[뉴욕=AP/뉴시스] 사진은 미국 뉴욕에 있는 구글 본사. 2023.11.30 *재판매 및 DB 금지

[서울=뉴시스]윤정민 기자 =

"(터보퀀트는) 구글판 딥시크와 같은 기술이다. 속도, 메모리 사용량, 전력 소비량 등 활용도 측면에서 AI 추론을 최적화할 수 있는 여지가 훨씬 많다."

(매튜 프린스 클라우드플레어 최고경영자, 지난 25일 엑스 공식 계정)

구글이 메모리 사용량을 최대 6분의 1 수준으로 줄이면서도 성능을 유지하는 기술을 공개해 화제다. 삼성전자, SK하이닉스, 마이크론 등 국내외 메모리 반도체 기업 주가까지 흔들면서 '구글판 딥시크'로 평가 받는 이 기술이 무엇인지 관심이 쏠리고 있다.

27일 업계에 따르면 구글 리서치는 최근 자사 공식 블로그에 거대언어모델(LLM) 메모리 사용 효율을 높이는 기술 '터보퀀트'를 소개했다.

[서울=뉴시스] 27일 구글 리서치가 AI(인공지능) 구동에 필요한 메모리 사용량을 최대 6분의 1로 줄이는 압축 기술 ‘터보퀀트(TurboQuant)’를 공개했다. AI 답변 생성 과정인 ‘추론(Inference)’ 단계에서 ‘KV 캐시’를 최대 6배 압축해 효율을 높이는 것이 핵심이다. (그래픽=전진우 기자) 618tue@newsis.com

이 기술은 인공지능(AI)이 이전 대화나 문맥 정보를 저장하는 '키-값(KV) 캐시'를 저비트로 압축한다. 메모리 사용량을 최대 6분의 1 수준으로 줄이면서도 같은 성능을 유지할 수 있다.

KV 캐시는 AI가 긴 문맥을 이해하고 답변을 생성하는 데 필수적인 요소다. 다만 문맥 길이가 길어질수록 메모리 사용량이 급격히 증가해 비용과 속도 측면에서 한계로 지적돼 왔다.

이에 그동안 AI 성능 경쟁은 더 많은 그래픽처리장치(GPU)와 연산 능력을 확보하는 방향으로 전개돼 왔다. 하지만 터보퀀트는 이러한 문제를 해결한다.

터보퀀트 연구에 참여한 한인수 한국과학기술원(카이스트) 전기·전자공학부 교수는 "AI 모델의 성능이 커질수록 메모리 사용량이 급격히 증가하는 것이 가장 큰 한계로 지적돼 왔다"며 "이번 연구는 이러한 병목을 효과적으로 줄이면서도 정확도를 유지할 수 있는 새로운 방향을 제시했다"고 밝혔다.

"같은 GPU로 더 많은 성능 구현"…AI 답변 비용 낮춘 구글