구글이 데이터를 압축하는 기술 터보퀀트를 공개해 AI 효율성을 재정의했다. 사진=연합뉴스
[서울와이어=양승보 기자] 구글이 거대 인공지능(AI)을 구동할 때 발생하는 치명적인 ‘메모리 병목 현상’을 획기적으로 해결할 데이터 압축 기술을 공개해 메모리 반도체 시장이 술렁인다.
구글은 지난 24일(현지시간) 구글 리서치 블로그에 “극단적인 압축으로 AI 효율성을 재정의했다”며 ‘터보퀀트’를 소개했다.
기존 ‘벡터 양자화(고차원 벡터의 크기를 줄여주는 강력한 데이터 압축 기술)’는 어떤 작업을 수행하기 위해 실제로 필요한 최소 데이터 외, 추가로 소비되는 메모리 양인 ‘메모리 오버헤드’ 문제가 발생한다.
터보퀀트는 ‘폴라퀀트(PolarQuant)’와 ‘QJL(Quantized Johnson-Lindenstrauss)’ 두 기술을 사용해 메모리 오버헤드 문제를 해결했다.
폴라퀀트는 복잡한 데이터를 극좌표 방식으로 변환해 압축하는 기술로, 앞서 언급한 오버헤드 문제를 원천 차단한다. 이를테면 정확한 주소(X, Y 좌표)를 일일이 기억하는 대신, 기준점을 정해 ‘어느 방향(각도)’으로 ‘얼마나(거리)’ 가야 하는지만 기록하는 방법이다. 이처럼 데이터의 뼈대만 남겨 기억해야 할 메모리의 양을 획기적으로 줄인다.
다만 뼈대만 남기는 압축 과정을 거치면 미세한 오차가 발생하게 된다. 터보퀀트는 이를 보정하기 위해 QJL 기술을 해결책으로 사용했다. QJL은 단 1비트라는 극소량의 용량만을 추가로 사용해 오차의 균형을 수학적으로 완벽하게 잡아낸다. 이를 통해 AI의 답변 성능 저하 없이 압축 효율만 극대화했다.
이 결과 구글은 “시험을 통해 터보퀀트가 메모리 사용량을 6배 줄이면서도 AI 모델의 답변 품질이나 정확도가 전혀 떨어지지 않았다”고 밝혔다. 또한 “엔비디아 H100 그래픽처리장치(GPU) 가속기에서 32비트의 데이터를 쓸 때보다 4비트로 압축한 터보퀀트를 사용할 때 속도가 8배 상승했다”고 강조했다.
구글은 터보퀀트에 대해 “데이터의 종류에 구애받지 않고(데이터 비의존적) 왜곡을 최소화하는 압축을 달성했다”며 “덕분에 AI 검색 엔진은 단 3비트로 가장 거대하고 똑똑한 AI의 완벽한 정확도를 그대로 유지하게 된 고차원 검색에서의 혁신”이라 평가했다.
터보퀀트 공개로 메모리 사용량이 줄어 하반기 빅테크 기업들이 메모리 주문량을 줄일 것이라는 전망이 나온다. 이에 고대역폭메모리(HBM)을 주력으로 공급하는 삼성전자와 SK하이닉스에게 악영향을 끼칠 수 있다라는 우려도 나온다.
반대로 장기적인 측면으로 봤을 때 터보퀀트가 메모리 반도체 시장 파이 자체를 폭발적으로 늘릴 것이란 시각도 존재한다.
숀 김 모건스탠리 분석가는 “모델이 성능 저하 없이 메모리 요구량을 낮춰 실행할 수 있다면 비용이 크게 감소해 AI 도입의 수익성이 높아질 것”이라며 “비용이 낮아지면 제품 채택 수요도 증가해 장기적으로 메모리 제조사에도 이익일 것”이라고 긍정적으로 바라봤다.
이는 터보퀀트로 AI를 구동하는 메모리 가격이 낮아지면 비싸서 도입을 고려하던 많은 기업의 부담이 줄어 결과적으로 총 메모리 수요가 증가한다는 의미이다.
무조건 많은 메모리를 요구하던 AI에 변화가 시작됐다. 이제 메모리 기업들은 용량을 늘리는 경쟁이 아닌 압축된 데이터를 얼마나 전력 소모와 지연 없이 초고속으로 GPU에 보내줄 수 있는지 연구하고 차세대 맞춤형 메모리로 더 큰 부가가치를 창출해야한다.
댓글
0