지난달 17일 인도 뉴델리에서 열린 ‘AI 임팩트 서밋(AI Impact Summit)’ 행사장 중 하나인 바라트 만다팜에서 방문객들이 구글 로고 근처를 지나가고 있다. 로이터=연합뉴스
구글이 공개한 ‘터보퀀트(TurboQuant)’를 둘러싸고 메모리 반도체 위기론이 제기됐지만, 업계에서는 이를 시장을 대체할 기술이 아닌 인공지능(AI) 인프라 효율을 높이는 보완 기술로 보고 있다.
27일 중앙일보 취재를 종합하면 터보퀀트는 데이터 구조를 단순화해 메모리 사용량을 기존 대비 최대 6분의 1 수준으로 줄이는 기술이다. 정확도를 유지한 채 모델 규모를 축소할 수 있다는 점에서 주목받고 있다. 업계에서는 이를 통해 AI 메모리 활용도가 높아지면서 오히려 수요 확대를 자극할 수 있다는 분석도 나온다.
핵심은 거대언어모델(LLM)의 ‘맥락 저장 방식’ 변화다. LLM은 대화를 이어가기 위해 이전 토큰 정보를 저장하는 KV캐시(Key-Value Cache)를 활용하는데, 문맥이 길어질수록 용량이 급격히 늘며 메모리 부담이 커진다. 특히 여러 단계를 거치는 ‘에이전틱 AI’에서는 중간 상태가 누적되며 메모리 사용량이 더 빠르게 증가한다.
지난 16일(현지시간) 미국 캘리포니아주 새너제이 컨벤션센터에서 진행된 엔비디아의 연례 개발자회의 'GTC 2026'에 마련된 삼성전자 전시장에서 한 관객이 삼성전자의 7세대 고대역폭메모리(HBM) 'HBM4E' 시제품을 살펴보고 있다. 연합뉴스
터보퀀트는 이 KV캐시 저장 과정에 양자화(quantization)를 적용해 데이터 표현 단위를 줄인다. 긴 숫자를 단순화해 저장하는 방식으로 메모리 점유 공간과 데이터 이동량을 낮춘다. 다만 연산 단계에서는 이를 다시 복원해야 해 계산량 자체가 크게 줄어드는 구조는 아니다. 연산 효율보다는 저장 효율 개선에 초점이 맞춰진 기술이다.
시장에서는 메모리 사용량 감소만 부각되며 고대역폭메모리(HBM) 수요가 줄어들 수 있다는 우려도 제기됐다. 그러나 전문가들은 AI 시대의 병목은 단순한 용량이 아니라 ‘속도’에 있다고 지적한다. 그래픽처리장치(GPU)와 메모리 간 데이터 처리 속도를 결정하는 대역폭이 성능을 좌우한다는 설명이다. 삼성전자 한 반도체 엔지니어는 “터보퀀트가 효율적인 알고리즘인 것은 맞지만, 메모리 공급 부족 문제를 근본적으로 해소할 기술로 보기는 어렵다”고 말했다.
업계에서는 오히려 메모리 수요를 자극할 가능성에 주목한다. 효율 개선으로 AI 서비스 단위 비용이 낮아지면 기업들의 인프라 투자 확대를 유도할 수 있다는 논리다. 절약된 메모리는 더 긴 문맥 처리나 복잡한 연산에 재투입될 가능성이 크다. 석탄 효율이 높아질수록 소비가 늘어나는 ‘제번스 역설’이 AI 인프라에서도 재현될 수 있다는 분석이다. 『반도체 삼국지』 저자인 권석준은 “터보퀀트는 메모리 병목 가운데 KV캐시 효율 문제를 개선한 기술”이라며 “단기적으로는 시장에 충격을 줄 수 있지만, 장기적으로는 메모리 수요 확대 요인으로 작용할 가능성이 크다”고 말했다.
다만 글로벌 빅테크(대형 기술기업)를 중심으로 메모리 효율을 끌어올리려는 흐름 자체는 국내 기업에 도전 요인이 될 수 있다는 지적도 나온다. 이번 터보퀀트 개발은 고가 메모리에 의존하기보다 소프트웨어와 시스템 차원에서 효율을 높이려는 시도가 본격화하고 있음을 보여주는 신호라는 분석이다. 이종환은 “앞으로는 메모리와 비메모리의 경계를 허무는 시도까지 나올 수 있다”며 “기존 메모리 패권을 흔드는 기술 진화에 대비해야 한다”고 말했다.
댓글
0