구글이 공개한 AI 메모리 압축 기술
구글 리서치가 공개한 AI 모델의 메모리 사용량을 줄이는 기술이다. AI 모델은 대화 맥락을 ‘키-밸류 캐시'(KV 캐시)에 저장하는데, 대화가 길어질수록 메모리 사용량이 커지고 속도가 저하되는 한계가 있다. 터보퀀트를 적용하면 KV 캐시 저장 용량을 기존의 약 6분의 1 수준으로 줄일 수 있고, 연산 속도도 최대 8배까지 향상된다. 이 기술은 메모리 사용량을 크게 낮춘다는 점에서 데이터센터를 운영하는 빅테크 기업들의 메모리 칩 수요 감소로 이어질 수 있다는 우려도 나온다.
지난달 26일, 구글이 AI 모델의 메모리 사용량을 최적화하는 기술을 발표했다. 같은 날 삼성전자·SK하이닉스·키옥시아·마이크론 등 한·미·일 메모리 반도체 주가는 일제히 하락했고 27일엔 삼성전자·SK하이닉스가 낙폭을 줄여 각각 0.2%, 1.2% 하락 마감했다. 다만 투자은행과 산업계 전문가들은 소프트웨어 효율 개선이 AI 활용을 확대해 중장기적으로는 메모리 수요가 늘어날 것으로 분석했다.
관련기사로 알아보기
-한국경제
실적·터보퀀트·D램값…삼전닉스 주가 가를 '3대 이슈'
-서울신문
구글 '터보퀀트'. 삼성전자·하이닉스에 독일까 약일까
[단비뉴스]
댓글
0