한인수 교수
구글 리서치(Google Research)와 딥마인드(DeepMind), 뉴욕대 그리고 KAIST 전기및전자공학부 한인수 교수가 참여한 공동연구팀이 대형언어모델(LLM)의 고질적인 병목 현상인 메모리 과부하 문제를 수학적으로 해결한 차세대 양자화 알고리즘 ‘터보퀀트(TurboQuant)’를 전격 공개했다.
이번 기술은 단순한 모델 경량화를 넘어, 벡터 기반 AI 연산 구조 자체를 재설계했다는 점에서 차세대 AI 인프라 기술로 주목된다.
현지시간 24일 발표된 이 기술은 LLM이 문맥을 기억하는 공간인 ‘KV 캐시(Key-Value Cache)’를 기존 대비 6배 이상 압축하면서도 모델의 정확도를 완벽하게 유지한다. 특히 별도의 추가 학습(Fine-tuning) 없이 즉시 적용 가능한 ‘데이터 비의존성(Data-oblivious)’ 특성을 갖춰, 업계에서는 AI 인프라 효율을 극대화할 ‘게임 체인저’가 등장했다는 평가가 나온다.
벡터의 딜레마....성능과 메모리의 충돌
현대 AI 모델은 이미지의 특징이나 단어의 의미를 ‘고차원 벡터’라는 수치 집합으로 이해한다. 모델이 정교해질수록 이 벡터의 차원은 높아지며, 이는 필연적으로 방대한 메모리 점유로 이어진다. 특히 긴 문장을 처리할 때 사용하는 KV 캐시는 일종의 ‘디지털 요약장’ 역할을 하지만, 데이터가 쌓일수록 시스템을 느리게 만드는 병목의 주범이 된다.
이미지:구글
기존의 양자화 기술은 데이터를 압축하는 과정에서 ‘상수값’을 별도로 저장해야 하는 추가 오버헤드(1~2비트)가 발생해 실제 압축 효율이 떨어지는 한계가 있었다. 터보퀀트는 이 ‘숨은 메모리 비용’을 수학적 기법으로 완전히 제거했다.
터보퀀트의 이중 구조...‘폴라퀀트’와 ‘QJL’의 시너지
터보퀀트의 핵심 혁신은 단순히 데이터를 압축하는 데 그치지 않고, 데이터를 바라보는 좌표계 자체를 바꾸고 남은 오차까지 정밀하게 제어하는 방식에 있다. 이는 기존 양자화 기술이 ‘값을 줄이는 데 집중’했다면, 터보퀀트는 ‘데이터 구조를 재해석해 가장 효율적인 형태로 재구성’한다는 점에서 근본적인 차별성을 갖는다.
우선 폴라퀀트(PolarQuant)는 기존의 직교 좌표계 기반 접근에서 벗어나, 데이터를 완전히 새로운 관점으로 변환한다. 기존 방식은 3차원 직교 좌표계(Cartesian coordinate system) 같은 x, y, z 좌표값을 기준으로 각 축 방향의 정보를 개별적으로 저장하고 처리해야 했기 때문에, 데이터 범위(경계값)를 지속적으로 계산하고 이를 보정하기 위한 추가 정보까지 함께 저장해야 하는 구조적 비효율이 존재했다.
반면 폴라퀀트는 데이터를 ‘거리(반지름)’와 ‘방향(각도)’이라는 극좌표계로 변환한다. 이는 마치 “동쪽으로 몇 칸, 북쪽으로 몇 칸” 이동하는 방식 대신 “어느 방향으로 얼마나 떨어져 있는가”로 표현하는 것과 같다. 이 변환의 핵심은 고차원 벡터 데이터가 실제로는 특정한 패턴을 가지며, 일종의 ‘구(球) 표면’ 위에 밀집되는 경향이 있다는 점을 활용하는 데 있다.
이러한 특성을 이용하면 데이터를 일정한 원형 구조 위에 정렬할 수 있게 되고, 기존처럼 매번 달라지는 경계값을 계산할 필요가 사라진다. 결과적으로 데이터 표현 방식이 단순해질 뿐만 아니라, 양자화 과정에서 필수적으로 따라오던 메모리 오버헤드 자체를 구조적으로 제거할 수 있게 된다.
여기에 QJL(Quantized Johnson-Lindenstrauss) 기법이 결합되면서 터보퀀트의 완성도가 높아진다. 폴라퀀트가 데이터의 큰 틀을 압축하는 역할을 한다면, QJL은 그 과정에서 발생하는 미세한 오차를 정밀하게 보정하는 역할을 수행한다.
특히 QJL의 가장 큰 특징은 단 1비트만으로 오차를 제어한다는 점이다. 일반적으로 정밀도를 유지하기 위해서는 더 많은 비트가 필요하지만, QJL은 존슨-린덴스트라우스 변환 기반의 수학적 구조를 활용해 데이터 간 거리와 관계를 유지하면서도 정보를 극단적으로 단순화한다. 각 값은 +1 또는 -1과 같은 형태로 표현되며, 이는 사실상 “방향성만 남긴 최소 정보”에 해당한다.
그럼에도 불구하고 이 1비트 정보는 단순한 보정값이 아니라, 일종의 수학적 오류 검출 및 균형 조정 장치로 작동한다. 이를 통해 모델이 입력 데이터 중 어떤 요소에 주목해야 하는지를 결정하는 어텐션 스코어(Attention Score)의 계산에서 발생할 수 있는 왜곡을 효과적으로 제거한다.
결과적으로 터보퀀트는 폴라퀀트를 통해 데이터 구조를 효율적으로 재배치하고, QJL을 통해 남은 오차를 최소 비용으로 보정함으로써, 초저비트 환경에서도 원본 모델과 동일한 수준의 정확도를 유지하는 구조를 구현한다. 이는 단순한 압축 기술을 넘어, AI 모델의 연산 방식 자체를 재정의하는 접근으로 평가된다.
압도적인 성능 지표... 속도는 8배, 메모리는 1/6
오픈소스 LLM인 젬마(Gemma)와 미스트랄(Mistral)을 활용하여, 롱벤치(LongBench), 니들 인 어 헤이스택(Needle In A Haystack), 제로스크롤스(ZeroSCROLLS), 룰러(RULER), 엘-이밸(L-Eval) 등 표준 롱 컨텍스트(Long-context) 벤치마크 전반에 걸쳐 세 가지 알고리즘 모두를 엄격하게 평가했다. 이 결과 단순한 압축 효율을 넘어, 정확도·속도·검색 성능이라는 세 가지 핵심 지표를 동시에 검증했다는 점에서 의미가 크다.
터보퀀트는 Llama-3.1-8B-Instruct 모델을 기반으로 다양한 압축 기법과 비교한 LongBench 벤치마크에서, KV 캐시 압축 성능 측면에서 뛰어난 성능을 입증했다(괄호 안의 값은 비트 수를 의미함)
가장 먼저 주목되는 부분은 극한 수준의 압축 효율이다. 장문 문맥 처리 능력을 평가하는 대표적인 ‘바늘 찾기(Needle-in-Haystack)’ 테스트에서, 터보퀀트는 모델의 정확도를 전혀 떨어뜨리지 않으면서도 KV 캐시 메모리 사용량을 6배 이상 줄이는 데 성공했다. 이는 기존에는 성능 저하 없이 달성하기 어려웠던 수준으로, 대형언어모델이 장문을 처리할 때 발생하는 메모리 병목을 근본적으로 완화할 수 있음을 의미한다.
추론 속도 측면에서도 상당한 개선이 확인됐다. 엔비디아(NVIDIA)의 H100 GPU 가속기 환경에서 4비트 터보퀀트를 적용한 경우, 기존 32비트 기반 모델 대비 최대 8배 빠른 연산 속도를 기록했다. 이는 단순한 이론적 개선이 아니라 실제 하드웨어 환경에서 체감 가능한 수준의 성능 향상으로, 실시간 AI 서비스나 대규모 추론 인프라에서 직접적인 비용 절감과 처리량 증가로 이어질 수 있는 결과다.
또한 터보퀀트는 벡터 검색 영역에서도 뛰어난 성능을 입증했다. 수십억 개의 고차원 벡터 중에서 의미적으로 유사한 데이터를 찾는 벡터 검색 엔진에 적용했을 때, 기존의 대표적 기법인 PQ(Product Quantization)와 RabbiQ 대비 더 높은 재현율(Recall)을 기록했다. 이는 압축 이후에도 데이터 간 유사도를 정확하게 유지한다는 의미로, 검색 품질이 오히려 향상될 수 있음을 보여준다.
아울러 인덱스 구축 시간 역시 크게 단축됐다. 기존 방식이 대규모 코드북 생성과 데이터별 튜닝 과정에 많은 시간을 필요로 했던 반면, 터보퀀트는 이러한 전처리 부담을 최소화하면서도 높은 정확도를 유지한다. 그 결과, 대규모 데이터 환경에서도 빠르고 효율적인 의미 기반 검색 시스템 구축이 가능해진다.
종합적으로 이번 벤치마크 결과는 터보퀀트가 단순한 압축 기술을 넘어, LLM의 메모리 구조·연산 속도·검색 성능 전반을 동시에 개선하는 ‘범용 효율화 기술’임을 입증한 것으로 평가된다.
“적게 쓰니 더 많이 쓰게 된다, AI 대중화의 촉매제”
터보퀀트의 등장은 메모리 반도체 업계에 묘한 긴장감과 기대를 동시에 준다. 단위 데이터당 메모리 사용량이 줄어드는 것은 단기적으로는 수요 감소처럼 보일 수 있으나, 경제학의 ‘제본스의 역설(Jevons Paradox)’처럼 효율성이 높아질수록 AI 서비스의 단가가 낮아져 결과적으로 더 거대한 모델과 더 많은 사용자가 유입되는 결과를 낳을 것이다.
특히 이번 연구에는 카이스트(KAIST) 한인수 교수가 공동연구자로 참여해, 국내 학계의 연구 역량이 글로벌 빅테크의 핵심 알고리즘 설계에 직접 기여했다는 점에서 의미가 크다. ‘터보퀀트(TurboQuant)’는 구글(Google)의 생성형 AI 서비스 제미나이(Gemini) 고도화는 물론, 수십억 개의 벡터를 실시간으로 처리하는 글로벌 검색 엔진과 온디바이스 AI 환경 전반에서 표준 압축 기술로 자리 잡을 가능성이 높다는 평가를 받고 있다.
한 교수는 이번 연구에서 AI 압축의 ‘수학적 임계치’를 돌파한 핵심 인물로, 특히 QJL(Quantized Johnson-Lindenstrauss) 알고리즘 설계를 주도하며 1비트 오차 보정 기술을 완성했다. 터보퀀트의 심장부라 할 수 있는 이 알고리즘을 통해 성능 저하 없이 모델을 극한까지 압축하는 것이 가능해졌다는 점에서 그의 알고리즘 설계 역량이 주목된다.
이러한 연구 성과는 이미 국제적으로도 인정받고 있다. 한 교수는 2024년 ‘로버트 혁신 펀드 어워드(Roberts Innovation Fund Award)’를 수상하며 “AI를 더 강력하면서도 비용 효율적으로 만든다”는 연구 철학을 입증했다. 이 철학은 터보퀀트의 핵심 특성인 ‘데이터 비의존성(Data-oblivious)’ 구조로 이어졌으며, 별도의 재학습 없이도 기존 모델 성능을 유지한 채 압축을 수행하는 기술로 구현됐다.
QJL 알고리즘은 고차원 데이터를 저차원으로 축소하는 과정에서 발생하는 정보 왜곡을 최소화하는 존슨-린덴슈트라우스 변환(Johnson-Lindenstrauss Transform)을 양자화 기술과 결합한 것이 특징이다. 이를 통해 데이터 간 거리와 구조적 특성을 유지하면서도 대규모 모델을 효율적으로 압축할 수 있는 기반을 마련했다.
여기에 더해, 한 교수는 폴라퀀트(PolarQuant) 과정에서 발생할 수 있는 미세한 수치 손실을 단 1비트의 추가 정보로 보정하는 정교한 메커니즘을 설계했다. 이 1비트는 단순한 보조값이 아니라, 양자화 과정에서 발생하는 오차를 실시간으로 교정하는 ‘수학적 오류 제어 장치’로 작동하며, 모델 정확도를 원본 수준에 가깝게 유지하는 데 핵심적인 역할을 한다.
이 같은 성과는 학문적 이론과 산업 현장의 경험이 결합된 결과이기도 하다. 한 교수는 어도비(Adobe)의 생성형 AI 서비스 어도비 파이어플라이(Adobe Firefly) 개발 과정에서의 실무 경험과, 예일대학교(Yale University) 박사후연구원 시절 축적한 이론적 기반을 접목했다. 그 결과, 해당 기술은 엔비디아(NVIDIA) H100 GPU 환경에서 최대 8배의 연산 가속을 구현하며, 이론적 완성도와 실용성을 동시에 입증했다.
한인수 교수는 "이번에 공개된 터보퀀트는 QJL과 폴라퀀트 기술을 집대성해, LLM의 고질적인 병목으로 지적돼 온 KV 캐시 메모리 문제를 혁신적으로 해결한 사례입니다."라며, "이 기술은 향후 온디바이스 AI와 초거대 벡터 검색 시장에서 메모리 효율을 극대화하면서도 성능 손실을 ‘제로(Zero)’에 가깝게 유지할 수 있는 핵심 표준으로 자리 잡을 것으로 기대됩니다."라고 말했다.
이어 "특히 이론적 증명을 기반으로 구현한 극한의 압축 효율은 AI 인프라 비용을 획기적으로 절감하고, 다양한 산업 분야에서 AI 서비스의 보편화를 앞당기는 중요한 전환점이 될 것으로 판단됩니다."라고 덧붙였다.
한편, 이번 연구 결과는 오는 4월 23일부터 27일까지 브라질 리우데자네이루에서 열리는 머신러닝 분야 국제 학술대회인 ‘국제표현학습학회(ICLR 2026)’와 모로코 탕헤르에서 오는 5월 2일부터 5일까지 개최되는 인공지능·통계학회(AISTATS 2026)에서 발표될 예정이다.
관련 세가지 논문은 'PolarQuant: 극좌표 변환을 이용한 KV 캐시 양자화(PolarQuant: Quantizing KV Caches with Polar Transformation-
다운
)', 'QJL: 오버헤드가 없는 KV 캐시 양자화를 위한 1비트 양자화 JL 변환(-QJL: 1-Bit Quantized JL Transform for KV Cache Quantization with Zero Overhead-
다운
)', 'TurboQuant: 거의 최적의 왜곡률을 제공하는 온라인 벡터 양자화(TurboQuant: Online Vector Quantization with Near-optimal Distortion Rate-
다운
)'을 참고하면 된다.
댓글
0