구글이 지난달 25일 공개한 '터보퀀트'는 글로벌 메모리 시장을 크게 흔들었다. "비싼 HBM(고대역폭 메모리)을 더 이상 안 사도 되나"라는 전망에 삼성전자와 SK하이닉스 주가도 민감하게 반응했다.
그러나 국내 전문가들은 이를 다소 과도한 반응이라고 지적했다. 기술적으로 분석하면, 구글의 발표도 과장됐다는 것이다.
한 관계자는 “이번 이슈는 기술적 완성도와는 별개로 구글이 블로그에서 직접 발표, '공신력'을 가졌다고 생각해서 화제가 된 것”이라고 지적했다.
이어 “구동 가능한 소스코드가 나오지 않은 만큼, 실제 성능은 뚜껑을 열어봐야 알 수 있다"라고 말했다.
■ 6분의 1은 과장된 수치… 전체 메모리 기준으로 보면 비중 낮아
우선 터보퀀트가 KV 캐시에 양자화 기술을 적용, 데이터를 6분의 1로 압축해도 AI의 성능을 유지할 수 있다는 설명은 "마케팅적인 의도가 섞인 비약"이라고 지적했다.
구글은 압축 전 상태인 32비트(FP32)나 16비트(FP16) 데이터를 3~4비트 수준으로 압축했다는 점을 강조했다. 그러면서도 수학적으로 정보 손실을 최소화하는 알고리즘을 사용해서 정확도 손실이 거의 없다고 전했다.
그러나 전문가들은 "기준점 자체가 잘못됐다"라고 지적했다. 업계에서는 이미 FP8(8비트)가 표준으로 쓰이기 때문이다. 특히 구글이 숫자를 키우기 위해 사용한 32비트 정밀도(FP32) 기반의 추론은 너무 무겁고 느려 거의 사용되지 않는다.
따라서 업계 평균인 8비트를 기준으로 잡으면, 3~4비트는 압축률 2배 정도에 그친다. 3비트까지 줄이는 기술력은 대단하지만, 성능 향상 폭을 32비트와 비교해 부풀린 측면이 있다는 말이다.
vLLM 양자화 목록 (사진=깃허브)
또, 실제 서버 구축 비용 절감 효과는 기대보다 더 낮을 것이라는 예상이다. 그 예로 미니맥스가 지난 2024년 오픈소스 중 가장 먼저 조단위 매개변수를 적용한 대형언어모델(LLM) 'abab 6.5'를 들었다.
이 모델은 지능의 용량인 ‘웨이트 메모리(Weight Memory)’는 220GB에 달한다. 그러나 터보퀀트는 웨이트 자체를 줄이는 것이 아니라, 대화 맥락을 담당하는 KV 캐시를 줄인다. abab 6.5에서 KV 캐시는 최대 47GB다.
따라서 전체 시스템 메모리 기준으로, 이 모델의 총 메모리는 267GB(220+47)다. 여기에 구글이 주장하듯 KV 캐시를 6분의 1로 줄이면 47GB는 8GB로 줄어든다. 이를 적용하면 전체 메모리는 228GB가 된다.
즉, 267GB에서 228GB로 실제 절감폭은 14.6%에 그친다. 따라서 구글이 강조한 6분의 1(83% 절감)은 모델 본연의 웨이트를 배제하고 KV 캐시만 따로 떼어 산출한 '착시 현상'이라는 지적이다.
또 이 때문에 메모리를 덜 사거나 서버 구축 비용이 드라마틱하게 낮아지는 효과를 기대하긴 어렵다는 것이다.
이승현 포티투마루 부사장은 “자체 TPU(텐서처리장치)를 쓰는 구글 입장에서는 비싼 HBM 탑재를 최소화하기 위해 메모리 공간을 최대한 쥐어짜야 했을 것”이라며 “구글이 자신들만의 인프라 환경에서 모든 걸 해결하려다 보니 생겨난 ‘그들만의 생존법’으로 보는 게 적절하다”라고 분석했다.
■ 완전히 새로운 기술 아냐..."속도 저하·정확도 하락도 숙제"
터보퀀트의 핵심 기술 중 하나인 '폴라퀀트(PolarQuant)'는 이미 2025년 4월 공개된 논문에 근거한다. 이는 데이터를 극좌표계로 변환해 3~4비트로 압축하는 핵심 알고리즘이다.
또 KV 캐시 압축은 지난해부터 여러 연구소에서 집중적으로 논문을 내놓았다. 기술적 난제로 상용화가 어려울 뿐, 완전히 새로운 기술은 아니라는 설명이다.
풀어야 할 과제도 많다. 압축된 데이터를 다시 풀어내는 '역양자화' 공정을 거쳐야 하기 때문에 메모리 사용량은 줄어도 추가 연산이 발생, 실제 AI 구동 속도는 저하될 우려가 있다.
또, 소수점 이하의 미세한 데이터를 덜어내는 '손실 압축' 방식의 특성상, 정밀도가 중요한 전문 영역에서의 모델의 성능이 하락할 수 있다는 것은 근본적인 문제다.
■ 메모리 수요 감소는 '섣부른 걱정'...에이전트로 오히려 수요 늘 것
만약 메모리 사용량이 줄어들더라도, 이로 인해 전체 사용량은 증가할 것이라는 ‘제번스의 역설’도 다시 언급됐다. 기술 최적화로 비용이 줄면, 그만큼 전체 사용량은 늘어날 수 있다는 것이다.
특히 AI 에이전트의 확대 도입으로 메모리 수요가 오히려 더 늘어날 것이라는 전망이 압도적이다. 에이전트는 단답형의 AI 챗봇과 달리, 추론(CoT)을 통해 복잡한 계획을 세우고 이를 실행하는 루프를 반복하며 많은 연산을 거쳐야하기 때문이다.
이승현 부사장은 “에이전틱 AI 시대에는 KV 트래픽 양이 걷잡을 수 없이 커질 것"이라며 "터보퀀트와 같은 시도 자체는 환영할 만하지만, 아직 논문 단계인 만큼 해결해야 할 숙제가 많다”라고 덧붙였다.
결국 터보퀀트는 초장문 문맥 처리나 초고밀도 동시 접속 상황을 위한 특수 기술이지, 일반적인 AI 서버 구축 비용을 80%씩 깎아주는 마법의 도구가 아니라는 결론이다.
김해원 기자 hwkim@aitimes.com
댓글
0