“토큰을 많이 쓰는만큼 일을 많이 했다는 인식이 있기 때문에 거의 하루 종일 에이전트를 돌리고 있다.” “클로드에서 토큰을 덜 쓰는 요금제를 선택해서 토큰량을 조절하고 있다.”
요즘 세계 어디에서나 인공지능(AI)을 조금이라도 사용한다는 사람들 사이에선 단연 ‘토큰’이 화두이다. 개발자나 프로그래머 등 정보기술(IT) 업계 종사자들에겐 토큰 사용량이 업무 성과나 ‘성실도’를 보여주는 객관적 지표로까지 활용되고 있다.
토큰 사용량과 그로 인한 경제적 비용은 AI 시대 경제·산업의 틀도 재편할 태세다. 글로벌 컨설팅 기업 딜로이트는 지난 1월말 펴낸 보고서 ‘AI 토큰: AI의 새로운 비용 역학을 탐색하기’에서 “AI를 예측불가능하고 토큰 기반 비용에 따라 움직이는 경제 체제로 다뤄야 한다”고 밝혔다. 젠슨 황 엔비디아 최고경영자(CEO)는 AI 데이터센터는 물론 ‘피지컬 AI’가 적용되는 제조업에서도 연산, 즉 토큰 역량이 근간이 될 것이라며 ‘AI 공장’의 출현을 예고했다. 바야흐로 ‘토큰 경제’가 기업 경쟁력을 좌우하는 시대가 된 것이다.
젠슨 황 엔비디아 최고경영자(CEO)가 3월16일 미국 새너제이에서 열린 GTC 2026에서 베라 루빈 플랫폼을 공개하고 있다. AFP연합뉴스
토큰은 AI 모델의 기본 연산 단위를 의미한다. 오픈 AI의 ‘챗GPT’, 구글의 ‘제미나이’, 앤트로픽의 ‘클로드’와 같은 거대언어모델(LLM)이 자연어를 이해하고 데이터를 처리·생성하는 데 쓰이는 최소한의 정보 조각이다. AI 모델을 실행하기 위해 필요한 일종의 ‘디지털 연료’라고 볼 수 있다.
특히 올해 초부터 토큰 사용량이 기하급수적으로 늘어나고 있다. AI 산업의 무게중심이 학습에서 추론으로 이동하고, 사용자를 대신해 업무를 수행하는 ‘에이전틱 AI’ 시대가 본격 도래한 데 따른 추세이다. AI 에이전트는 ‘생성형 AI’보다 최대 100만배 많은 토큰을 사용하는 것으로 알려져 있다. AI 에이전트가 입력해야 하는 텍스트·이미지 등 각종 데이터 량이 훨씬 많아진 데다, 실제 결과물을 내놓기 위해 필요한 출력값도 덩달아 불어났기 때문이다.
실리콘밸리에선 토큰을 최대치로 사용하는 것을 의미하는 ‘토큰맥싱’(tokenmaxxing)이 하나의 문화로 자리잡았다. 엔지니어 한 명이 일주일 동안 2000억개가 넘는 토큰을 사용했다는 식의 ‘무용담’이 공공연하게 회자된다.
메타, 오픈AI 등 빅테크들은 물론 세일즈포스 등 소프트웨어 기업들도 구성원의 토큰 사용량을 실시간으로 집계하는 ‘대시보드’를 만들었다. 직원들이 AI를 얼마나 사용하는지 순위를 매겨서 생산성 평가 척도로 활용한 것이다.
댓글
0