AI 모델이 대화 맥락 임시 저장할 때
데이터 처리 병목 풀 압축 기술 공개
구글 "정확도 손실 없고 속도도 월등"
메모리 수요 둔화 우려에 반도체주 ↓
"AI 효율 높여 반도체 시장 키울 수도"
구글 로고. AFP 연합뉴스
구글이 인공지능(AI) 모델 구동에 쓰이는 메모리 사용량을 획기적으로 줄일 수 있는 신기술을 공개했다. 시장에선 곧바로 메모리 반도체 수요 둔화를 예상하며 글로벌 메모리 칩 회사들 주가가 일시적 약세를 보였다.
26일 정보기술(IT) 업계에 따르면, 구글 리서치는 24일(현지시간) 자사 블로그에 AI 모델 메모리 압축 기술인 '터보퀀트(TurboQuant)'를 소개했다. AI 모델이 쓰는 메모리 사용량은 줄이면서 성능은 유지하는 기술이다.
AI 거대언어모델(LLM)은 사용자와의 대화 맥락을 '키값(KV) 캐시'로 일시 저장한다. 사람이 대화 중에 기억하려는 걸 틈틈이 메모장에 써두는 식이다. AI가 복잡한 맥락을 연산할수록 KV 캐시 공간 병목이 발생하고 처리 속도가 느려진다. 고성능 메모리 칩 확보 경쟁이 불거진 이유 중 하나가 이런 문제를 극복하기 위해서다.
이에 구글은 16 내지 32비트(정보 최소 단위)로 저장되던 KV 캐시를 3비트 수준으로 압축해 용량을 대폭 줄이겠다고 발표했다. 복잡하게 여기저기 흩어져 있는 데이터를 원형 좌표에 정렬하는 고품질 압축기술(폴라퀀트)을 활용한다. 예를 들어 '동쪽으로 300m 간 뒤 북쪽으로 400m를 가야 한다'는 정보를 '북동향 53도로 500m 이동'으로 단순화하는 식이다.
이렇게 저장 공간을 대폭 압축하면 누수되는 정보가 생겨 AI 추론 정확도가 떨어지는 한계가 있다. 하지만 구글은 정확도 무손실 수준의 기술 구현이 가능하다고 밝혀 테크업계 주목을 받고 있다. 압축으로 생기는 미세한 오차는 수학 알고리즘으로 잡아낸다고 구글 연구진은 설명했다. 존슨-린덴스트라우스 변환 기법(QJL)을 적용해 단어 간 관계를 파악할 때 연산이 틀어지지 않도록 보정한다고 한다.
실제 오픈소스 AI 모델인 젬마나 미스트랄에 적용해본 결과, KV 용량은 기존 대비 최대 6분의 1 수준으로 낮출 수 있고, 속도도 여건에 따라 엔비디아의 고성능 AI 가속기(H100)보다 최대 8배 빠른 성능을 보일 수 있다고 구글 연구진은 주장했다.
구글의 기술 공개로 메모리 수요가 둔화할 거란 시장 관측이 나오면서 메모리 칩 업계 주가는 미끄러졌다. 삼성전자는 종가 기준 전일보다 4.71% 내린 18만100원, SK하이닉스는 6.23% 떨어진 93만3,000원에 거래를 마쳤다.
다만, 시장의 우려가 과도하다는 반론도 고개를 들고 있다. IT 매체 테크크런치는 "AI 운영 비용을 낮출 수 있다"면서도 "아직 초기 단계 기술"이라 했다. 한지영 키움증권 연구원은 "어디까지나 논문 단계의 알고리즘 공개로 상용화까지 시간이 필요하다"고 했다. 구글 연구진은 이미 지난해 4월 터보퀀트 기술을 주제로 한 논문을 공개했다. 구글은 다음 달 25일 브라질 리우데자네이루에서 열리는 '국제표현학습학회(ICLR) 2026'에서 터보퀀트 기술을 공식 발표한다.
AI 모델 효율이 실제로 개선된다면 반도체 시장을 도리어 더 키우는 계기가 될 수 있다는 반론도 나온다. 반도체 업계 관계자는 "AI 흐름은 아직 초기 국면으로 평가된다"며 "효율화로 AI 데이터센터 운영 비용이 줄면 AI 도입과 고도화가 확산할 수 있다"고 했다.
댓글
0