"AI 다이어트 성공"…가트너, 2030년 AI 추론 비용 90% 급락
AI 에이전트 확산하면 사용량 폭증…"총비용은 증가"
[서울=뉴시스] (사진=유토이미지) *재판매 및 DB 금지
[서울=뉴시스]이주영 기자 = 오는 2030년이면 인공지능(AI) 운영 비용이 지금보다 90% 이상 저렴해질 것이라는 전망이 나왔다. 최근 구글이 인공지능(AI) 추론 비용을 획기적으로 낮출 ‘터보퀀트’를 발표하는 등 비용 혁신 기술이 잇따라 개발되고 있기 때문이다.
30일 글로벌 시장조사기관 가트너는 2030년까지 1조 개의 파라미터(매개변수)를 가진 거대 모델의 추론 비용이 2025년 대비 90% 이상 하락할 것으로 내다봤다.
이는 2022년 초기 모델과 비교하면 비용 효율성이 최대 100배나 개선되는 수준으로, 생성형 AI 모델이 데이터를 처리할 때 사용하는 기본 단위인 '토큰' 가격이 빠르게 낮아지고 있기 때문이다
반도체 성능 개선, 모델 설계 혁신, 인프라 효율화, 그리고 기기 자체에서 AI를 구동하는 엣지 디바이스의 확산 등이 복합적으로 작용한 결과라고 가트너측은 설명했다.
실제 토큰 가격 하락은 이미 현실화되고 있다. 최근 구글 리서치는 AI 모델의 추론 과정에서 발생하는 메모리 병목 현상을 해결하는 압축 알고리즘 '터보퀀트'를 발표했다. AI가 대화 맥락을 기억하는 데 필요한 용량을 기존 대비 6분의 1로 압축하는 기술이다.
[서울=뉴시스] 구글 리서치가 AI(인공지능) 구동에 필요한 메모리 사용량을 최대 6분의 1로 줄이는 압축 기술 ‘터보퀀트(TurboQuant)’를 27일 공개했다. AI 답변 생성 과정인 ‘추론(Inference)’ 단계에서 ‘KV 캐시’를 최대 6배 압축해 효율을 높이는 것이 핵심이다. (그래픽=전진우 기자) *재판매 및 DB 금지
"성능 좋아지니 더 쓴다"… AI 에이전트가 부른 '비용의 역설'
댓글
0