국내, 병목 해소 연구 이미 활발
KV 캐시 최대 4배까지 압축 사례
삼성·SK도 연산하는 메모리 주도
혁신 아닌 연구 성과 가시화 평가
AI 생성이미지
구글이 ‘터보퀀트(TurboQuant)’ 기술을 공개한 이후 대규모언어모델(LLM)의 ‘메모리 병목’ 현상을 해결하는 데이터 압축 기술이 인공지능(AI) 업계의 핫 이슈로 부상했다. 하지만 전문가들은 터보퀀트가 특정 기업이 만들어낸 돌발적인 혁신이 아닌 국내외 학계와 산업계가 지난 수년간 공들여온 모델 최적화 연구의 성과가 가시화된 한 사례라고 평가한다.
31일 학계 등에 따르면 국내에서도 메모리 병목 해소를 위한 연구가 활발히 진행 중이다. 메모리 병목 현상은 AI 모델을 개발하는 ‘학습’ 단계에서 서비스를 제공하는 ‘추론’으로 진화하는 과정에서 발생한다. AI는 사용자와의 과거 대화 맥락을 기억하기 위해 임시 데이터 창고로 ‘KV 캐시’를 사용하는데, 문제는 대화량이 늘어날수록 KV 캐시를 저장하는 메모리 용량이 커진다는 점이다.
결국 메모리에서 그래픽처리장치(GPU)로 데이터를 전달하는 속도가 떨어지고, GPU 연산 유닛은 제 성능을 발휘하지 못한 채 대기 상태로 머무는 병목 현상이 발생한다. 그동안은 이를 막기 위해 고대역폭메모리(HBM) 수를 늘리며 막대한 비용을 부담해야 했다.
이에 송현오 서울대 컴퓨터공학부 교수 연구팀과 네이버 AI랩은 지난해 5월 KV 캐시 압축 기술 ‘KVzip’을 소개하는 논문을 발표했다. 기존 압축법은 주로 ‘어텐션’ 점수를 활용해 중요도가 낮다고 판단되는 토큰을 제거하는 식이었다. 이는 쿼리(질문)에 따라 중요도 기준이 달라지기 때문에 다른 질문에 필요한 정보까지 삭제되는 등 추론 성능 저하의 한계가 있었다. 반면 연구팀은 다양한 질문에서 안정적으로 활용 가능한 ‘질의 비의존적 구조’를 만들었다. ‘전체 문맥을 얼마나 잘 복원할 수 있는가’를 기준으로 KV 묶음별 중요도를 정량화하고, 점수가 낮은 순서대로 제거해 문맥 재구성이 가능한 최소 KV 집합으로 압축하는 방식이다. 이를 통해 KV 캐시 크기를 최대 4배까지 줄이는 데 성공했다. 최적화 한 번은 1분 이내에 완료되며 약 2배의 압축 효율을 얻을 수 있다. 기존 어텐션 최적화 기법 대비 약 100배 빠른 속도다.
병목 해소를 위해 다양한 메모리 계층 구조를 활용하는 방법도 있다. KV 캐시를 담는 그릇 자체를 효율적으로 늘리는 것이다. 전동석 서울대 융합과학기술대학원 교수 연구팀은 지난해 11월 논문을 통해 새로운 KV 캐시 스왑 기법 ‘HiFC’ 구조를 공개했다. KV 캐시를 휘발성 메모리인 D램 대신 고용량 솔리드스테이트드라이브(SSD)에 저장한 뒤 GPU로 직접 전송해 이동 효율을 높인 것이 핵심이다. 딥시크 R1 디스틸 모델과 엔비디아 A100 GPU로 성능을 평가한 결과 기존 구조와 맞먹는 성능을 유지하는 동시에 메모리 총소유비용(TCO)은 3년간 최대 4.5배 절감되는 것으로 나타났다.
메모리 하드웨어도 진화를 거듭하고 있다. 메모리 칩 안에 연산 장치를 넣어 GPU로 데이터를 옮기지 않고도 처리할 수 있는 ‘연산 기능 내장형 메모리’(PIM)가 대표적이다. 삼성전자와 SK하이닉스는 글로벌 PIM 기술 표준화·상용화를 주도하고 있다. 또한 삼성SDS는 지난해 PIM 기반 AI 시스템 ‘PAISE’를 개발했다. 회사는 “연산별 특성을 분석해 PIM 전송 여부와 데이터 정렬을 최적화하는 기술을 적용했다”며 “PIM 추론 속도를 최대 48.3% 높이고 전력 소모를 11.5% 줄였다”고 밝혔다.
댓글
0