[디지털투데이 황치규 기자] 특정 작업을 자율적으로 처리하는 에이전틱 AI에 대한 수요가 폭발적으로 늘면서 AI를 돌리는데 필요한 컴퓨팅 파워 공급이 수요를 따라가지 못하는 상황이 심화되고 있다.
이는 AI 비용 상승 뿐 아니라 AI 자체를 제대로 활용할 수 없는 결과로도 이어지는 모양새다.
월스트리트저널(WSJ) 최근 보도에 따르면 핵심 AI인프라인 GPU 시간 당 임대료는 지난해 가을 이후 크게 뛰었고 앤트로픽의 경우 피크 시간대에 컴퓨팅 자원 사용량을 제한해 고객들의 반발에 직면해 있다.
AI 인프라에 훨씬 더 많은 돈을 쏟아부었다고 알려진 오픈AI도 컴퓨팅 자원 고갈 이슈에서 자유롭지 않다. 최근 오픈AI는 동영상 생성 AI 앱인 '소라'를 중단했는데, 컴퓨팅 자원을 코딩과 엔터프라이즈 제품들에 보다 많이 배치할 필요가 있다는 판단도 영향을 미쳤다는 분석이다.
오픈AI가 제공하는 API를 통한 토큰(Token) 사용량은 지난해 10월 분당 60억에서 3월말에는 분당 150억 토큰으로 늘었다고 WSJ은 전했다. 토큰은 AI 모델이 처리하는 텍스트 기본 단위로 AI가 얼마나 많은 컴퓨팅 파워가 쓰는지 보여주는 지표로도 통한다.
GPU 사용료도 최근 가파른 상승세다. AI에 특화된 클라우드 컴퓨팅 서비스 업체인 코어위브는 지난해말 가격을 20% 이상 늘렸다. 또 소규모 고객들을 상대로 약정 기간을 1년에서 3년으로 늘릴 것을 요구하고 나섰다. 데이터 제공 업체 오른(Ornn)에 따르면 클라우드 서비스들에 걸쳐 엔비디아 GPU 제품군 현물 가격은 최근 몇 개월간 크게 상승했다. 엔비디아 최신 블랙웰 칩 시간당 임대료는 2개월 전 대비 48% 증가했다.
컴퓨팅 자원 부족은 AI 기업들 서비스 안정성에도 직접적인 영향을 미치는 모습이다. 폭발적인 성장을 경험하고 있는 앤트로픽은 2월 중순 이후 잦은 장애를 일으켰고 이는 일부 고객들이 다른 AI 모델들로 넘어가는 계기가 됐다.
AI 판을 덮친 컴퓨팅 자원 부족 문제가 단기간에 해결되기는 쉽지 않아 보인다.
WSJ에 따르면 클라우드 인프라 기업 벌처(Vultr) JJ. 카드웰 CEO는 "사업을 5년 넘게 운영하면서 한 번도 본 적 없는 수준으로 심각한 용량 부족이 발생하고 있다"면서 “왜 장비를 더 배치하지 않느냐는 질문이 나올 수 있지만, 문제는 리드타임이 너무 길다는 것이다. 데이터센터 건설에도 시간이 오래 걸리고, 2026년까지 사용할 수 있는 전력도 이미 선점된 상태"라고 전했다.
엔지니어이자 테크 투자자인 벤 폴라디언은 "모두가 석유애 대해 말하지만, 세상에서 지금 가장 부족한 건 토큰(tokens)"이라며 "현재 시점에서 AI는 더 이상 냉장고 앞에서 레시피를 물어보는 단순한 챗봇이 아니다. AI는 작업들을 지휘하고 있고, 점점 스마트해지고 있다"고 말했다.
댓글
0