생성형 AI 추론 비용 시나리오 전망. (사진=가트너)
[아이티데일리] 인공지능(AI) 추론 비용이 빠르게 하락하고 있지만 기업의 실제 AI 비용 부담은 줄지 않을 것이라는 분석이 나왔다.
31일 업계에 따르면 AI 추론 비용이 빠르게 감소하고 있다. 미국 비영리 연구기관 에포크 AI에 따르면 GPT-4 수준의 박사급 과학 문제 풀이 성능을 달성하는 데 드는 추론 비용이 연간 40배씩 줄고 있다. 벤치마크에 따라서는 연간 최대 900배까지 하락한 사례도 있다. 일례로 2023년 백만 토큰당 30달러 수준이던 GPT-4급 추론 비용은, 현재 GPT-4o mini 기준 입력 0.15달러, 출력 0.60달러 수준까지 낮아졌다.
이 같은 비용 하락 요인 중 하나로 중국 AI 스타트업 딥시크가 꼽힌다. 딥시크는 지난해 1월 추론 모델 ‘R1’을 공개한 바 있다. 당시 로이터 등 외신에 따르면 R1은 오픈AI ‘GPT’ 계열 모델 대비 약 20~50배 저렴한 운영 비용이 강점이었다. 이후 주요 AI 기업들이 앞다퉈 토큰 가격 인하에 나서면 서 업계 전반의 추론 비용이 낮아졌다는 분석이 나왔다.
오픈AI GPT 모델별 API 토큰 가격 비교. (사진=오픈AI)
다만 이러한 비용 하락이 곧바로 기업의 AI 비용 절감으로 이어지고 있지는 않다. 시장조사업체 프레시던스리서치에 따르면 기업의 생성형 AI 지출은 지난해 약 370억 달러로 직전년도 대비 3.2배 넘게 증가한 것으로 추정된다.
관련 업계에서는 이 같은 현상을 ‘제본스 역설’에 빗대어 설명한다. 제본스 역설은 19세기 석탄 연소 효율이 높아지면 사용량이 줄어들 것이라는 예상과 달리 오히려 총소비량이 늘어난 데서 비롯된 개념으로, 기술 발전으로 단위 비용이 낮아질수록 전체 소비는 오히려 증가한다는 의미다. AI 추론 비용 역시 하락했지만 기업들의 AI 수요가 늘어나면서 전체 지출은 늘어나고 있다는 설명이다.
이런 분위기 속에 글로벌 리서치 기관 가트너는 2030년까지의 거대언어모델(LLM) 추론 비용 전망을 내놓았다. 구체적으로 2030년까지 1조 개(1000B) 파라미터 규모 LLM의 추론 비용이 2025년 대비 90% 이상 감소할 것으로 전망했다.
가트너에 따르면 이 같은 비용 절감은 반도체, 인프라 효율성 개선, 칩 활용도 증가, 추론 특화 반도체 확대, 엣지 디바이스 적용 확대 등이 작용한 결과다. 또한 2030년 LLM은 2022년 초기 동일 규모 모델 대비 최대 100배까지 비용 효율성이 개선될 것으로 내다봤다.
특히 가트너는 최첨단 반도체 기반의 ‘프런티어’ 시나리오와 기존 반도체를 혼합 활용하는 ‘레거시 혼합‘ 시나리오 등을 기반으로 비용을 분석했다. 분석 결과 혼합 시나리오는 프런티어 시나리오 대비 비용이 상당히 높은 것으로 나타났다. 이는 혼합 시나리오의 연산 성능이 상대적으로 낮기 때문이다.
다만 토큰 단가 하락이 곧바로 기업의 AI 비용 절감으로 이어지지는 않을 것이라고 분석했다. 이는 고도화된 AI 기능일수록 더 많은 토큰을 요구하는 특성 때문이다.
가트너에 따르면 AI 에이전트는 기존 챗봇 대비 작업당 5~30배 더 많은 토큰을 소비하며 수행 가능한 작업 범위도 훨씬 넓다. 이에 따라 토큰 단가는 하락하더라도 사용량 증가 속도가 더 빠르기 때문에 전체 추론 비용은 오히려 늘어날 수 있다는 분석이다.
가트너 윌 소머 시니어 디렉터 애널리스트는 “제품 총괄 책임자(CPO)는 범용 토큰 가격 하락을 고급 추론 역량의 대중화로 오해해서는 안 된다”며 “기본적인 AI 기능은 사실상 제로 비용에 가까워지고 있지만 고급 추론을 뒷받침하는 컴퓨팅 자원과 시스템은 여전히 희소하다”고 설명했다.
이어 “현재 저렴한 토큰 비용으로 아키텍처 비효율을 가리는 기업은, 향후 에이전트 기반 AI 확장 단계에서 한계에 직면하게 될 것”이라고 덧붙였다.
끝으로 가트너는 향후 다양한 모델 포트폴리오 전반에서 워크로드를 효율적으로 오케스트레이션할 수 있는 플랫폼에 가치가 집중될 것으로 전망했다. 또한 반복적이고 빈도가 높은 업무는 소형 모델이나 도메인 특화 언어 모델로 처리하고 비용이 높은 프런티어급 모델은 고부가가치의 복잡한 추론 작업에만 선택적으로 활용해야 한다고 제언했다.
댓글
0