AI 성능을 가로막던 메모리 부담을 줄이는 해법이 등장했다.
▲ KAIST 한인수 교수
KAIST가 참여한 국제 공동연구팀이 인공지능 모델의 메모리 사용량을 크게 낮추면서 성능은 유지하는 알고리즘 '터보퀀트(TurboQuant)'를 선보였다. AI 산업 구조와 반도체 기술 흐름에 변화를 가져올 기술로 평가된다.
연구는 KAIST 전기및전자공학부 한인수 교수가 참여한 가운데 구글 리서치, 딥마인드, 뉴욕대 연구진이 함께 수행했다.
AI 모델은 데이터를 벡터 형태로 변환해 계산하는 구조로, 높은 정밀도를 요구해 메모리 사용량이 급격히 늘어나는 문제가 지속적으로 제기돼 왔다.
터보퀀트는 이 문제를 해결하기 위해 데이터를 적은 비트로 표현하는 양자화 기술을 적용했다. 핵심 정보를 유지하면서 저장 공간과 연산 부담을 줄이는 방식이다.
연구팀은 이 알고리즘을 통해 정확도 저하를 거의 없이 최대 6배까지 메모리를 절감하는 데 성공했다. 특히 AI 추론 과정에서 발생하는 메모리 병목 문제를 크게 완화했다는 점이 주목된다.
기술의 핵심은 두 단계로 구성된 양자화 구조다. 첫 단계에서는 데이터를 무작위로 회전시켜 극단값을 줄인 뒤 개별 요소를 압축한다. 이어 두 번째 단계에서는 발생한 오차를 다시 압축해 정보 손실을 최소화한다.
이 과정에서 적용된 QJL 기법은 데이터를 -1과 1로 표현하는 방식으로, 연산 효율을 높이면서도 성능 저하를 억제한다.
이번 성과는 AI 기술 확산에도 영향을 미칠 전망이다. 메모리 요구량이 줄어들면서 스마트폰과 가전 등 다양한 기기에서 AI 활용이 확대될 가능성이 커졌다.
대규모 데이터센터뿐 아니라 개인 기기에서도 AI를 구동할 수 있는 기반이 마련되면서 관련 시장 역시 새로운 성장 국면을 맞을 것으로 보인다.
한인수 교수는 "AI 모델이 커질수록 메모리 사용량이 급격히 증가하는 문제가 있었다"며 "이번 연구는 효율과 성능을 동시에 확보할 수 있는 방향을 제시한 것"이라고 밝혔다.
이어 "향후 대규모 AI 모델 운영의 핵심 기술로 활용될 가능성이 크다"고 말했다.
이번 연구는 국제 학회 AISTATS 2026에서 관련 연구가 발표될 예정이며, 한국연구재단 지원을 받아 진행됐다. /대전=이햔영기자
댓글
0