구글 본사 (사진=구글)
| 이코노미사이언스 정연재 기자 |
AI 추론에 필요한 메모리 사용량을 크게 줄이는 기술이 등장하면서 반도체 시장을 둘러싼 해석이 엇갈리고 있다. Google이 공개한 ‘터보퀀트(TurboQuant)’는 인공지능이 대화 맥락을 유지하기 위해 사용하는 데이터 저장 영역(KV 캐시)을 효율적으로 압축하는 방식으로, 동일한 성능을 유지하면서도 메모리 사용량을 크게 줄일 수 있는 기술로 평가된다.
이 기술은 AI 모델이 데이터를 다루는 방식을 바꾼다는 점에서 의미가 있다. 기존에는 데이터를 그대로 저장한 채 메모리를 늘리는 방식이었다면, 터보퀀트는 데이터 표현을 바꿔 같은 의미를 더 작은 형태로 저장한다. 결과적으로 메모리 부담이 줄고 처리 속도도 개선된다.
시장에서는 이를 곧바로 ‘메모리 수요 감소’로 받아들였다. 고대역폭메모리(HBM)를 중심으로 형성된 AI 반도체 수요가 둔화될 수 있다는 우려가 확산되며 주요 메모리 기업 주가가 흔들리기도 했다. 메모리를 덜 써도 같은 성능을 낼 수 있다면 수요가 줄어들 수 있다는 단순한 해석이다.
구글이 9216개의 TPU를 하나의 시스템으로 연결한 초대형 AI 인프라 (사진=구글)
그러나 이 기술의 영향은 수요 감소 여부보다 비용 구조 변화에 가깝다는 분석이 많다. 터보퀀트는 메모리 사용량을 줄이는 동시에 AI 추론 비용을 낮춘다. 비용이 낮아지면 AI를 활용할 수 있는 영역이 늘어나고, 이는 전체 연산량과 데이터 처리 수요 증가로 이어질 가능성이 크다.
이 같은 흐름은 William Stanley Jevons의 ‘제본스 역설’로 설명된다. 효율이 높아질수록 사용량이 오히려 늘어나는 현상이다. AI 역시 비용이 낮아질수록 더 많은 서비스와 산업으로 확산되는 구조를 갖는다. 특히 텍스트를 넘어 이미지·영상·음성을 동시에 처리하는 멀티모달 환경이 확대되면서 처리해야 할 데이터량은 빠르게 증가하고 있다.
이 같은 변화는 최근 AI 연구 흐름과도 맞닿아 있다. 모델을 더 크게 만드는 대신, 데이터를 효율적으로 처리하는 방식으로 전환이 이뤄지고 있다는 점이다. 양자화(Quantization) 기반 기술이나 메모리 접근을 줄이는 구조 개선 연구는 이미 AI 업계 전반에서 활용되고 있다. NVIDIA의 FlashAttention과 같은 기술도 같은 맥락에서 등장했다.
이 흐름을 이해하려면 현재 AI 반도체 구조를 함께 볼 필요가 있다. 지금의 AI 인프라는 GPU와 HBM을 결합한 형태가 중심이다. GPU는 대량 연산을 담당하고, HBM은 이를 뒷받침하는 초고속 메모리 역할을 한다. 이 구조는 ‘많은 데이터를 빠르게 처리하는 것’에 최적화돼 있다.
하지만 터보퀀트와 같은 기술이 등장하면서 방향이 달라지고 있다. 데이터를 줄여 처리하는 방식이 가능해지면서, 단순히 메모리를 많이 투입하는 전략의 효율이 상대적으로 낮아질 수 있기 때문이다. 대신 데이터 구조를 어떻게 설계하느냐가 성능을 좌우하는 요소로 떠오르고 있다.
연산 방식 자체도 변화하고 있다. GPU 중심 구조에서 벗어나 AI 연산에 특화된 NPU(신경망처리장치)와 같은 전용 칩이 확대되고 있고, 메모리와 연산의 경계를 줄이려는 시도도 이어지고 있다. 메모리 내부에서 연산을 수행하는 PIM(Processing-In-Memory) 구조나, 서버 간 메모리를 공유하는 Compute Express Link 기반 기술도 같은 흐름이다.
엔비디아의 GPU (사진=엔비디아)
메모리 역시 역할이 달라지고 있다. HBM이 속도를 담당하는 메모리라면, 앞으로는 데이터를 저장하고 관리하는 낸드(플래시)와의 역할 분화도 더 뚜렷해질 것으로 보인다. 일각에서 HBM 이후를 HBF로 부르는 흐름도 나오고 있는데, 이는 단순한 용량 확대가 아니라 데이터 저장과 연결 구조까지 포함한 새로운 메모리 계층을 의미한다.
결국 이번 논쟁의 핵심은 메모리 사용량이 아니다. AI를 구현하는 방식이 바뀌고 있다는 점이다. 과거에는 성능을 높이기 위해 더 많은 메모리를 투입하는 것이 일반적이었다면, 이제는 데이터를 어떻게 압축하고 연결하며 활용할 것인지가 더 중요한 요소가 되고 있다.
이 과정에서 경쟁의 기준도 달라지고 있다. 얼마나 많은 메모리를 공급하느냐보다, AI 시스템에 맞는 구조를 얼마나 정교하게 설계할 수 있는지가 중요해지고 있다. 메모리는 저장 장치를 넘어 연산 구조의 일부로 편입되는 단계로 이동하고 있다.
터보퀀트는 이러한 변화의 출발점에 가까운 기술이다. 메모리를 덜 쓰게 만드는 기술이 아니라, 같은 자원으로 더 많은 AI를 작동시키는 기술이라는 점에서다. 효율 개선이 곧 수요 감소로 이어지는 것이 아니라, 더 넓은 시장을 여는 방향으로 작용할 가능성이 크다.
결국 본질은 메모리의 양이 아니라 구조다. AI 산업이 확장될수록 반도체 역시 단순한 용량 경쟁을 넘어, 데이터 처리 구조를 중심으로 재편될 가능성이 커지고 있다.
국내 반도체·AI 연구 분야 한 교수는 “터보퀀트와 같은 기술은 메모리를 덜 쓰게 만드는 것이 아니라, 같은 자원으로 더 많은 연산을 가능하게 하는 방향”이라며 “AI 인프라는 단순히 용량을 늘리는 구조에서 벗어나 데이터 처리 방식을 최적화하는 구조로 이동하고 있다”고 말했다.
이어 “앞으로 반도체 경쟁은 얼마나 많은 메모리를 공급하느냐보다, AI 모델과 데이터 흐름에 맞춰 구조를 설계할 수 있느냐에 달려 있다”며 “이번 논쟁은 수요 감소 여부보다 산업의 설계 방식이 바뀌고 있다는 점에서 의미가 크다”고 덧붙였다.
아주쉽다
댓글
0