터보퀀트, AI구동 시 더 적은 메모리로 더 많이 연산 처리
AI 추론에 대한 수단일 뿐... HBM 본원적 수요 견고할 것
비용 장벽 낮아지면 기업용 AI 시장 활성화... 반도체 외연 확장 기대
구글리서치가 AI의 메모리 사용을 줄이는 터보퀀트(TurboQuant)를 발표했다. /인공지능 생성 이미지
구글 리서치가 인공지능(AI) 구동 시 메모리 사용량을 획기적으로 줄이는 소프트웨어 압축 기술 '터보퀀트(TurboQuant)'를 지난 24일 공개하자 메모리 반도체 업계가 출렁였다. 삼성전자·SK하이닉스를 비롯해 미국 마이크론, 샌디스크 등 글로벌 메모리 기업들의 주가가 일제히 급락하며 시장의 민감한 반응을 드러냈다. 그러나 투자은행(IB)과 산업계 전문가들은 "소프트웨어 효율화가 오히려 AI 저변 확대를 이끌어 중장기적으로 메모리 수요를 더욱 키울 것"이라고 입을 모으고 있다.
복잡한 데이터 저장 방식을 단순화한 압축 기술
터보퀀트의 핵심은 AI 모델이 사용자 질의를 처리하는 과정에서 임시로 데이터를 저장하는 'KV(Key-Value) 캐시'의 압축 효율을 극대화하는 데 있다. 기존의 KV 캐시는 대화가 길어질수록 선형적으로 팽창해 방대한 RAM 용량을 점유한다.
기존 양자화(Quantization) 기술은 데이터를 압축할 때 값의 분포 편차를 보정하기 위해 기준값(오프셋·스케일 등)을 별도로 함께 저장해야 했다. 이 추가 정보가 메모리 오버헤드로 누적돼 압축 효과를 상쇄하는 구조적 한계로 지적돼왔다.
구글은 이 문제를 데이터 표현 방식 자체를 재설계하는 방식으로 돌파했다. 특정 구간이나 방향에 몰려 있던 데이터를 다른 좌표계 기반으로 재구성해 값의 편차를 줄이고, 데이터 간 상대적인 관계를 일정하게 만든 것이다. 이렇게 되면 데이터의 패턴을 더 쉽게 예측할 수 있어, 기존처럼 별도의 기준값을 반복적으로 저장하지 않아도 된다.
터보퀀트 '양자화' 데이터 압축 과정 시각화 이미지. /구글 리서치
기존의 메모리 반도체 기술, 특히 DRAM과 HBM은 물리적인 공정 미세화와 적층 기술을 통해 성능을 개선해 왔다. 삼성전자와 SK하이닉스가 주도하는 HBM 로드맵은 데이터가 지나가는 통로(I/O)를 넓히고 적층 단수를 높여 대역폭을 확보하는 방식이다. 반면 터보퀀트는 데이터 자체를 효율적으로 가공하여 하드웨어에 가해지는 부하를 줄이는 소프트웨어적 접근법을 취한 것이다.
그 결과 추가적인 보정 정보 없이도 압축이 가능해지면서 메모리 사용량이 크게 줄어든다. 실제로 기존 16비트 수준의 데이터를 약 3비트 수준까지 낮추면서도 모델의 응답 정확도를 유지하는 성과를 냈다. 한 IT 업계 관계자는 “적은 메모리로 더 많은 연산을 처리할 수 있게 만든 것이 핵심”이라고 설명했다.
메모리 반도체 수요는 견고할 것... 오히려 시장 확대 기대
금융 시장의 즉각적인 주가 하락 반응과 달리, 산업계는 이 기술이 HBM 수요를 직접 대체하지는 못할 것이라는 의견을 내놓고 있다.
기술적 실체를 들여다보면, 터보퀀트는 HBM의 적(敵)이라기보다 보완재에 가깝다는 분석이다. 엔비디아 H100 GPU에서 터보퀀트가 속도 향상을 이룬 이유는 압축된 데이터 덕분에 HBM과 SRAM 사이의 통신 병목이 해소되었기 때문이다. 즉, 터보퀀트는 기존 하드웨어의 잠재력을 극한으로 끌어올리는 도구로서 작용한다는 얘기다.
인공지능 연산에서 데이터는 'HBM(저장) - SRAM(연산 대기) - 연산 유닛(처리)'의 과정을 거친다. 기존 방식에서는 고해상도 데이터를 그대로 전송해야 했으므로 HBM의 대역폭이 아무리 넓어도 병목이 발생할 수밖에 없었다. 터보퀀트는 이 데이터를 "저용량 고밀도" 패키지로 변환하여 전송 효율을 높인다. 이는 도로(HBM 대역폭)를 넓히는 하드웨어적 해결책과 차량의 크기를 줄여 교통 흐름을 개선하는 소프트웨어적 해결책이 결합되는 방식으로 이해될 수 있다.
모건스탠리 분석에 따르면 터보퀀트가 AI를 처음 학습시키는 '훈련' 단계나 칩 내부의 핵심 연산에는 영향을 주지 않으며, 오직 질문에 답을 내놓는 '추론' 단계의 임시 저장 공간에만 적용된다고 선을 그었다. 또한 미국 4대 상업은행인 웰스 파고 역시 소프트웨어 압축 기술이 하드웨어 구매량을 근본적으로 줄인 사례는 없다는 분석을 내놨다.
장기 수요 측면에서 업계가 주목하는 것은 온디바이스(On-device) AI 시장의 성장이다. 터보퀀트와 같은 기술로 AI 연산에 대한 비용이 하락하면, 오히려 새로운 반도체 수요가 생겨날 것이라는 분석도 나온다. 그동안 높은 운용 비용 때문에 AI 도입을 미루던 기업들이 본격적으로 AI 서비스를 시작할 수 있다.
업계 관계자는 "압축 기술로 비용 장벽이 낮아지면 스마트폰이나 PC 등 개별 기기에서 직접 AI를 구동하는 '온디바이스(On-device) AI' 시장이 활성화 될 것"으로 내다봤다. 개별 기기에 고성능 AI가 탑재되려면 결국 기기 내부에 들어가는 메모리 반도체 탑재량이 커져야 하므로 전체 수요는 늘어날 것이라는 설명이다.
시장 일각에서는 이번 터보퀀트 발표를 계기로 AI 인프라 효율화 경쟁이 본격화되면서 삼성전자와 SK하이닉스가 고부가가치 제품 포트폴리오를 고도화할 유인이 커졌다는 시각도 나온다. 소프트웨어 기술이 하드웨어 혁신을 대체하는 것이 아니라, 두 영역이 상호 보완적으로 진화하며 AI 반도체 시장의 외연을 함께 확장해 나갈 것이라는 전망이다.
댓글
0