구글이 메모리 사용량을 획기적으로 줄이면서도 성능을 유지하는 압축 기술을 공개했다. AI 인프라 비용과 성능 한계를 동시에 해결할 수 있는 돌파구로 주목된다.
구글은 25일(현지시간) 대형언어모델(LLM)의 핵심 병목으로 꼽히는 메모리 문제를 획기적으로 개선할 수 있는 압축 기술 ‘
터보퀀트(TurboQuant)
’를 온라인 아카이브를 통해 공개했다.
또 이번 연구는 올해 국제 학습 표현 학회(ICLR 2026)와 인공지능 및 통계 연례 학회(AISTATS 2026)에서 발표될 예정이다.
모델 성능 저하 없이 메모리 사용량을 대폭 줄이는 알고리즘으로, AI 인프라 비용 구조를 바꿀 수 있는 잠재력을 지녔다는 평가가 나온다.
현재 대화형 AI의 가장 큰 한계 중 하나는 메모리 사용량이다. LLM은 추론 시 대화 맥락을 기억하기 위해 ‘KV 캐시(Key-Value cache)’라는 고속 메모리를 사용한다. 모델이 처리하는 모든 토큰은 ‘벡터’라는 수치 형태로 KV 캐시에 저장된다.
KV 캐시는 추론 시 중간 단계에서 계산된 키(K)와 값(V)을 저장해두고 재사용하는 메커니즘이다. KV 캐시를 사용하지 않을 경우, 매번 새로운 토큰을 생성할 때마다 전체 컨텍스트를 다시 인코딩해야 한다.
이처럼 KV 캐시는 AI가 이전 대화 내용을 기억하고 답변을 만드는 데 필요한 정보를 저장하지만, 대화가 길어질수록 저장 용량이 계속 늘어나는 단점이 있다.
예를 들어, 사용자와 AI 어시스턴트가 며칠 동안 대화하면 비교적 작은 모델의 KV 캐시도 30번의 대화만으로 7GB를 넘어서 모델 매개변수보다 큰 메모리 부담을 주게 된다. 이런 이유로 제한된 메모리 환경에서 대화형 AI를 운용할 때는 캐시 관리가 매우 중요하다는 지적이다.
기존에도 벡터 압축 기술이 존재했지만, ‘양자화 상수’라는 추가 데이터를 함께 저장해야 해 오히려 메모리 효율이 떨어지는 문제가 있었다. 터보퀀트는 이러한 한계를 해결하기 위해 두가지 핵심 기술을 결합했다.
첫번째는 ‘폴라퀀트(PolarQuant)’로, 벡터를 기존의 직교좌표(X·Y·Z)가 아닌 ‘크기와 방향’ 중심의 극좌표로 변환해 구조를 단순화한다. 이를 통해 별도의 추가 정보 없이도 효율적인 압축이 가능해진다.
두번째는 ‘QJL(Quantized Johnson-Lindenstrauss)’ 기법으로, 압축 과정에서 발생하는 미세한 오차를 1비트 정보로 보정해 정확도를 유지한다.
이 두 기술의 결합으로 터보퀀트는 메모리 오버헤드 없이 이론적 한계에 가까운 압축 효율을 달성했다.
롱벤치 벤치마크. 터보퀀트는 '라마-3.1-8B-인스트럭트'에서 다양한 압축 기법과 비교했을 때 안정적인 KV 캐시 압축 성능을 보여준다. 괄호 안은 비트 수를 의미한다. (사진=구글)
실험 결과는 인상적이다. 터보퀀트는 라마-3.1-8B-인스트럭트 모델 기준으로 KV 캐시를 채널당 약 3~3.5비트 수준까지 줄이면서도 성능 저하 없이 동일한 결과를 유지했다.
일부 환경에서는 기존 대비 최소 6배 이상의 메모리 절감 효과를 보였으며, 엔비디아 'H100' GPU에서는 연산 속도가 최대 8배까지 향상됐다.
특히 장문 이해 능력을 평가하는 ‘건초더미 속 바늘 찾기(Needle-in-a-Haystack)’ 테스트에서도 원본 모델과 동일한 정확도를 기록하며, 압축과 성능을 동시에 달성했다는 점이 주목된다.
터보퀀트의 영향은 단순한 모델 최적화를 넘어선다. 이 기술은 의미 기반 검색(시맨틱 검색)과 같은 벡터 검색 분야에서도 기존 제품 양자화 방식보다 높은 정확도를 기록하면서, 인덱싱 시간을 거의 0에 가깝게 줄였다. 이는 수십억개의 데이터를 실시간으로 처리해야 하는 AI 서비스와 에이전트 시스템에서 큰 경쟁력이 될 수 있다.
무엇보다 터보퀀트는 별도의 재학습이나 미세조정 없이 기존 모델에 바로 적용할 수 있다는 점에서 산업적 파급력이 크다. 기업들은 이를 통해 GPU 사용량 감소, 클라우드 비용 절감, 더 긴 문맥 처리 등 즉각적인 효율 개선 효과를 기대할 수 있다.
업계 반응도 뜨겁다. 매튜 프린스 클라우드플레어 CEO는 이 기술을 두고 “구글의 딥시크 순간(DeepSeek moment)”이라고 평했다. 이는 중국 AI 모델 딥시크가 상대적으로 낮은 비용과 열악한 하드웨어 환경에서도 경쟁력 있는 성능을 구현하며 효율성 혁신을 이끌었던 사례에 빗댄 표현이다.
So Google TurboQuant is basically Pied Piper and just hit a Weismann Score of 5.2
https://t.co/WievkwijjD
pic.twitter.com/4rirvu2YyV
— K A L E O (@CryptoKaleo)
March 25, 2026
일부 전문가들은 이번 기술을 HBO 드라마 실리콘밸리 속 가상의 압축 기술 ‘피리 부는 사나이(Pied Piper)’에 비유하기도 한다. 실제로 품질 손실 없이 데이터 크기를 획기적으로 줄인다는 점에서 유사한 개념이기 때문이다.
이처럼 터보퀀트는 AI 경쟁의 중심이 ‘더 큰 모델’에서 ‘더 효율적인 모델’로 이동하고 있음을 보여주는 상징적 사례로 평가된다.
박찬 기자 cpark@aitimes.com
댓글
0