가트너가 2030년까지 1조개(1000B) 파라미터를 가진 대규모언어모델(LLM)의 추론 비용이 2025년 대비 90% 이상 감소할 것으로 전망했다.
AI 토큰은 생성형 인공지능(AI) 모델이 처리하는 기본 데이터 단위로, 이번 분석에서는 약 3.5바이트(약 4자)에 해당하는 데이터로 정의됐다.
반도체와 인프라의 효율성 개선, 모델 설계 혁신, 칩 활용도 증가, 추론 특화 반도체 확대 등이 LLM 추론 비용 절감을 이끄는 원동력이다. 가트너는 특히 2030년 LLM은 2022년 초기 동일 규모 모델에 비해 최대 100배까지 비용 효율성이 개선될 것으로 내다봤다.
가트너는 ▲최첨단 반도체를 기반으로 모델을 처리하는 프런티어 시나리오 ▲다양한 기존 반도체를 혼합 활용하는 레거시 혼합 시나리오 등 2가지 반도체 시나리오를 기반으로 비용을 분석했는데, 프런티어 시나리오가 더 낮은 비용을 요구할 것으로 예측됐다.
레거시 혼합이 연산 성능이 상대적으로 낮아 프런티어 시나리오 대비 더 높은 비용이 요구된다는 것이 가트너의 분석이다.
시나리오별 LLM 비용 변화 예측 [자료=가트너]
하지만, 토큰 단가 하락이 곧바로 기업의 AI 비용 절감으로 이어지지는 않을 것으로 예측됐다. 고도화된 AI 기능이 더 많은 토큰을 요구하는 구조적 특성 때문이다.
AI에이전트는 기존 챗봇 대비 작업당 5배에서 최대 30배 더 많은 토큰을 필요로 하며, 수행 가능한 작업 범위도 더 넓다. 즉, 토큰 단가 하락보다 토큰 사용량 증가 속도가 더 빠른 까닭에 기업의 전체 추론 비용은 감소하지 않고 오히려 증가한다는 설명이다.
윌 소머 가트너 시니어 디렉터 애널리스트는 “제품총괄책임자(CPO)는 범용 토큰 가격 하락을 고급 추론 역량의 대중화로 오해해서는 안 된다”고 언급하며 “기본적인 AI 기능은 사실상 제로 비용에 가까워지고 있지만 고급 추론을 뒷받침하는 컴퓨팅 자원과 시스템은 여전히 희소하다”고 언급했다.
이어 “저렴한 토큰 비용으로 아키텍처 비효율을 가리는 기업은 향후 에이전트 기반 AI 확장 단계에서 한계에 직면하게 될 것”으로 전망했다.
가트너는 다양한 모델 포트폴리오 전반에서 워크로드를 효율적으로 오케스트레이션할 수 있는 플랫폼에 가치가 집중될 것으로 전망했다.
특정 워크플로에 맞게 활용될 경우 범용 모델 대비 훨씬 낮은 비용으로 더 나은 성능 제공이 가능한 도메인 특화 언어 모델이나 효율적인 소형 모델로 반복적이고 빈도가 높은 업무를 처리하고 비용이 높은 프런티어급 모델의 추론은 엄격히 제한해 고부가가치의 복잡한 추론 작업에만 선택적으로 활용해야 한다는 것이다.
특히 단일 모델이 아닌 멀티 모델 오케스트레이션 전략이 기업의 AI 경쟁력을 결정할 것으로 가트너는 전망했다.
댓글
0