KV 캐시 메모리 최대 6분의1 절감 주장…단기적 불안·중장기 확장 효과 혼재
구글이 대형언어모델(LLM) 추론에 쓰이는 KV 캐시 메모리를 압축해 메모리 사용량을 크게 줄이는 기술 ‘터보퀀트(TurboQuant)’를 공개하자 반도체 시장에서 파장이 일고 있다.
구글은 메모리 사용을 최대 6분의 1 수준으로 낮추면서도 정확도 손실을 최소화했다고 밝혔으나, 실제 상용화 범위와 채택 속도에 따라 산업 영향은 엇갈릴 전망이다.
터보퀀트는 LLM이 긴 문맥을 처리할 때 누적되는 키·값(KV) 캐시를 압축·복원해 저장·전송 비용을 줄이는 방식이다.
구글 측은 이 기술로 동일한 하드웨어에서 더 긴 컨텍스트를 지원하거나 서버 수를 줄일 수 있다고 설명했다. 업계는 즉각 반응했다.
일부 투자자와 분석가는 대형 인퍼런스 서버용 고대역폭 메모리(HBM) 및 대용량 DRAM 수요가 둔화될 수 있다고 경고하며 관련 기업 주가가 흔들리기도 했다.
반면 다른 전문가들은 효율 개선이 AI 적용 범위를 넓혀 전체 인프라 수요를 늘릴 가능성도 제기한다.
온디바이스·엣지 AI 보급이 촉진되면 저전력 DRAM·LPDDR·스토리지 수요가 확대될 수 있고, 더 많은 서비스가 등장하면 데이터센터의 총 트래픽과 연산량이 증가할 수 있다는 논리다.
핵심 관건은 성능 검증과 채택 속도다. 압축·복원 과정의 지연, 모델별 호환성, 보안·라이선스 조건 등이 실제 도입을 좌우할 변수로 꼽힌다.
시장 영향은 메모리 종류별로 다를 것으로 보인다. HBM 중심의 고성능 메모리 공급사는 민감하게 반응할 가능성이 크고, 범용 DRAM·플래시 업체는 새로운 수요로 대응할 여지가 있다.
클라우드 사업자·가속기 제조사·반도체 기업들의 통합 대응 전략이 단기적 불확실성을 완화할지도지켜 볼일이다.
터보퀀트는 AI 인프라 비용 구조에 영향을 줄 잠재적 기술이나, 공개 이후의 독립적 벤치마크와 실제 채택 사례가 확인돼야 반도체 수요 변화의 방향과 크기가 명확해질 전망이다.
댓글
0