차세대 양자화 알고리즘 '터보퀀트' 발표
정확도 그대로 메모리 6배 줄여
고용량 AI 반도체 가능성 제시
KAIST와 딥마인드, 구글 등이 참여한 국제 공동연구팀이 AI 반도체의 한계인 메모리 병목을 해결할 수 있는 기술을 개발했다. 사진은 한인수 KAIST 전기및전자공학부 교수.[사진= KAIST]
KAIST(총장 이광형)가 참여한 국제 공동연구팀이 AI 모델의 고질적 한계로 꼽혀온 '메모리 병목' 문제를 획기적으로 해소할 차세대 알고리즘을 공개했다. 정확도 저하 없이 메모리 사용량을 최대 6배까지 줄일 수 있어, AI 산업 전반의 효율화는 물론 반도체 수요 구조의 질적 전환까지 이끌 기술로 주목받고 있다.
KAIST는 한인수 전기및전자공학부 교수가 구글 리서치(Google Research), 딥마인드(DeepMind), 뉴욕대(NYU) 연구진과 공동으로 양자화 알고리즘 '터보퀀트(TurboQuant)'를 개발했다고 29일 밝혔다.
AI 모델은 입력 데이터를 벡터로 변환하고 벡터 간 유사도를 계산하는 방식으로 작동한다. 이 과정에서 고정밀(high-precision) 데이터를 대량으로 처리해야 하기 때문에 막대한 메모리 자원이 필수적이었고, 이는 AI 모델 대형화의 핵심 걸림돌로 지적돼 왔다.
터보퀀트는 '양자화(quantization)' 기술을 통해 이 문제를 정면 돌파했다. 고정밀 소수점 데이터를 더 적은 비트의 정수로 근사해 표현함으로써, 핵심 정보는 보존하면서도 저장 용량과 연산 부담을 대폭 낮추는 원리다.
터보퀀트의 핵심은 두 단계로 설계된 양자화 구조에 있다. 1단계에서는 입력 데이터를 무작위로 회전(Random Rotation)시킨 뒤 각 요소를 개별 양자화한다. 데이터 내 극단값(outlier)을 사전에 억제해 압축 효율을 끌어올리는 방식으로, 한인수 교수가 공동 참여한 선행 연구 '폴라퀀트(PolarQuant)'에서 검증된 기법이다.
2단계에서는 1단계에서 발생한 오차(residual)를 다시 한번 양자화한다. 여기에 적용되는 'QJL(Quantized Johnson-Lindenstrauss)' 기법은 데이터를 {-1, 1}의 1비트 값만으로 표현하는 초경량 방식으로, 정보 손실을 최소화하면서 연산 효율을 극대화하는 것이 특징이다.
이 2단계 구조를 통해 터보퀀트는 정확도 저하를 거의 없이 메모리를 최대 6배 절감하는 성과를 달성했다.
연구팀은 이번 성과가 단순한 기술 혁신을 넘어 AI 산업 생태계 전반에 파급력을 미칠 것으로 전망했다. 낮아진 메모리 문턱은 스마트폰·가전 등 온디바이스 AI 기기부터 대규모 데이터센터에 이르기까지 AI 적용 범위를 비약적으로 넓힐 수 있기 때문이다.
반도체 메모리 시장에도 중장기적 변화가 예상된다. 단기적으로는 동일 AI 모델 구동에 필요한 메모리 용량이 줄어들어 수요 성장이 둔화되는 것처럼 보일 수 있으나, 전문가들은 오히려 AI 서비스의 일상화·대중화가 가속되면서 '수요의 질적 고도화'와 '양적 팽창'이 동시에 일어날 것으로 내다보고 있다.
한인수 교수는 "AI 모델의 성능이 커질수록 메모리 사용량이 급격히 증가하는 것이 가장 큰 한계로 지적돼 왔다"며 "이번 연구는 이 병목을 효과적으로 줄이면서도 정확도를 유지할 수 있는 새로운 방향을 제시했다"고 밝혔다.
이어 "대규모 AI 모델을 보다 효율적으로 운영할 수 있는 핵심 기반 기술로 활용될 것으로 기대한다"고 강조했다.
이번 성과는 KAIST 연구진이 구글·딥마인드 등 글로벌 빅테크의 핵심 AI 알고리즘 개발에 공동 연구자로 직접 참여했다는 점에서도 의미가 크다. 특히 터보퀀트의 근간이 된 QJL 기법과 폴라퀀트 연구 모두에 한인수 교수가 기여함으로써, 국내 기초연구 역량이 세계 최전선의 AI 기술 혁신으로 이어지는 성과를 거뒀다.
폴라퀀트 연구는 머신러닝 이론 분야 국제 최상위 학회인 'AISTATS(Artificial Intelligence and Statistics) 2026'(5월 개최)에서 발표될 예정이다. 이번 연구는 한국연구재단 기초연구실 사업의 지원으로 수행됐다.
댓글
0