가트너, 2030년 LLM 추론 단가 90% 이상 하락 전망 ··· 반도체·인프라 혁신 가속
에이전틱 워크로드, 작업당 토큰 소모 급증 ··· 고급 추론 역량 희소성 여전
인프라 시나리오별 생성형 AI 추론 단가 및 토큰 소모량 전망
[데이터넷] 가트너는 2030년까지 1조 개(1000B) 파라미터를 보유한 거대언어모델(LLM)의 추론 비용이 2025년 대비 90% 이상 감소할 것이라고 전망했다. 이는 2022년 초기 모델과 비교했을 때 동일 규모 모델 기준 최대 100배까지 비용 효율성이 개선되는 수치다.
이러한 급격한 단가 하락은 반도체 및 인프라의 설계 혁신, 추론 특화 반도체(NPU)의 확대, 특정 활용 사례에서의 엣지 디바이스 적용 확대 등에 따른 결과다.
특히 가트너는 최첨단 반도체를 사용하는 ‘프런티어(Frontier)’ 시나리오가 기존 반도체를 혼합 사용하는 ‘레거시 혼합(Legacy Blend)’ 시나리오보다 장기적으로 높은 비용 효율성을 제공할 것으로 분석했다.
하지만 가트너는 토큰 단가 하락이 곧바로 기업의 지출 감소로 이어지지는 않을 것이라고 경고했다. 고도화된 AI 기능일수록 더 많은 토큰을 요구하는 구조적 특성 때문이다.
특히 AI 에이전트는 기존의 단순 챗봇 대비 작업당 5배에서 최대 30배 더 많은 토큰을 필요로 한다. 결국 토큰 단가는 떨어져도 사용량 증가 속도가 이를 압도하면서 전체 추론 비용은 오히려 증가할 것으로 예상된다.
윌 소머(Will Sommer) 가트너 시니어 디렉터 애널리스트는 “기본적인 AI 기능은 사실상 제로 비용에 가까워지고 있지만, 고급 추론을 뒷받침하는 컴퓨팅 자원과 시스템은 여전히 희소하다”며 “제품 총괄 책임자(CPO)는 범용 토큰 가격 하락을 고급 추론 역량의 대중화로 오해해서는 안 된다”고 말했다.
이에 따라 가트너는 기업의 AI 경쟁력이 더 이상 단일 모델의 성능이 아닌, 여러 모델을 적재적소에 배치하는 ‘멀티 모델 오케스트레이션(Multi-model Orchestration)’ 전략에 달려 있다고 강조했다. 상대적으로 저렴한 소형언어모델(SLM)과 고성능 LLM을 유기적으로 결합해 비용 효율성을 높이는 설계 역량이 향후 기업용 AI 시장의 성패를 가를 핵심 변수가 될 전망이다.
Tag
댓글
0