AI가 처리하는 데이터 단위 '토큰'
공장부터 일상까지 토큰 생산·소비
개발자들 사이에선 많이 쓰기 경쟁
AI칩도 결국 토크노믹스 흐름 반영
편집자주
우주, 인공지능, 반도체, 바이오, 에너지 등 첨단 기술이 정치와 외교를 움직이고 평범한 일상을 바꿔 놓는다. 기술이 패권이 되고 상식이 되는 시대다. 한국일보는 최신 이슈와 관련된 다양한 기술의 숨은 의미를 찾고 사회에 미치는 영향을 심층 분석하는 '테크 인사이트(Tech Insight)'를 격주 금요일 연재한다.
젠슨 황 엔비디아 최고경영자(CEO)가 3월 16일 미국 캘리포니아주 새너제이 SAP 센터에서 열린 엔비디아의 기술 콘퍼런스 'GTC 2026'에 참석해 '추론의 왕'이라고 적힌 벨트를 보여주고 있다. 새너제이=AP·뉴시스
"우리가 최적화하고 있는 핵심 지표는 와트(W)당, 달러당 토큰(Tokens)이다."
올해 1월 사티아 나델라 마이크로소프트(MS) 최고경영자(CEO)는 사업 구조 전환을 선언했다. "실리콘(반도체)과 시스템, 소프트웨어를 통해 인공지능(AI) 활용률은 높이고 총 소유 비용(TCO)은 낮춘다"면서다. AI 성능 확대 경쟁보다 수익을 위한 인프라 효율로 무게중심을 옮기는 핵심 수단이 토큰이란 얘기였다.
AI 산업이 모델의 데이터 입력(학습)을 거쳐 서비스 실행(추론) 국면으로 접어들면서 토큰의 경제적 가치를 챙기는 '토크노믹스(토큰 경제)'가 AI 업계 화두로 부상했다.
토큰은 AI가 다루는 데이터의 최소 단위다. 가령 거대언어모델(LLM)에선 단어, 글자, 문장부호가 모두 토큰이 된다. AI가 토큰 처리에 반도체나 전기를 쓰기 때문에 기업은 토큰 사용량만큼 돈이 든다. 이 비용은
AI 서비스 이용자에게 과금된다.
토큰을 많이, 빨리, 적은 비용으로 처리할수록 AI의 생산성과 효율성이 높아진다.
젠슨 황 엔비디아 CEO는 AI 생산성을 토큰으로 측정하는 전환기를 주도하고 있다. 그는 지난달 연례 기술 콘퍼런스 'GTC 2026' 기조연설에서 "모든 공장은 전력 제약을 받기에 와트당 토큰이 중요하다"면서 이전보다 적은 전력으로 같은 양의 토큰을 생산하는 AI 공장용 새 플랫폼을 선보였다.
AI가 문제를 해결하고 답변을 생성하는 과정에서 단위 데이터를 조합해 새로운 정보를 만들어내는 일련의 과정이 결국 토큰 생산이다. 사용자가 AI에 질문을 입력하거나 AI가 자료를 읽어들일 때는 토큰이 소비된다. 이렇게 토큰의 생산과 소비가 일어나는 동안 생기는 경제의 큰 흐름이 바로 토크노믹스다.
'멀티 AI 에이전트' 시대가 도래하면서 빅테크나 공장뿐 아니라 일상 업무에서도 토큰 소비량이 폭증하고 있다. AI 에이전트가 작동할 땐 명령어 입력부터 사고 과정, 외부 도구 호출, 대화 기억 관리까지 모든 과정이 토큰 단위로 이뤄지기 때문이다. 토크노믹스는 일부 전문가나 특정 산업에서 일어나는 게 아니라 일상 곳곳에서 이미 활발히 작동하고 있다.
9일 개발자 커뮤니티 '스트라우드'에 개발자들이 인공지능(AI) 모델 사용에 쓴 토큰 관련 순위표가 게시돼 있다. 스트라우드 홈페이지 캡처
미국 실리콘밸리에선 토큰 소비력을 직원의 역량으로 간주하기도 한다. 최근 개발자 커뮤니티 '스트라우드'에는 엔지니어들의 토큰 소비량 순위판이 등장했다. 직원들이 토큰을 두둑이 소비할 수 있도록 뒷받침하는 빅테크들의 목록도 공유된다. 메타를 비롯한 일부 빅테크에선 누가 토큰을 최대치로 쓰는지 재는 '토큰 맥싱' 경쟁 문화까지 생겼다. AI 인프라 개선과 추론 반도체 확대로 토큰 생산 단가가 내려갈수록 더 많은 토큰을 소비하려는 기업들의 토큰 각축전이 심화할 거란 전망이 나온다.
엔비디아는 추론형 AI 칩인 '그록3'를 올 하반기 출하할 예정이다. AI 업계 관계자는 "토큰 생산 효율을 극대화하려는 걸로 보인다"고 예상했다. 마이크로소프트와 아마존이 각각 자체 AI 추론용 칩 '마이아 200'과 '인퍼런시아'를 고도화 중인 것도 토큰 비용 절감으로 시장 확대에 나서겠다는 복안이란 분석이 나온다. 중국에서도 가성비 AI 모델 '딥시크' 이후 토크노믹스가 성장세다.
국내 기업들도 미중 토큰 경쟁 틈에 분투하고 있다. LG AI연구원 관계자는 "토큰 소비를 효율화하는 기술을 개발하고 있다"고 했다. 김성훈 업스테이지 대표는 "한국이 AI 3강이 되려면 토큰이 많이 생성되고 소비돼야 한다"며 "토큰이 활발히 순환될 수 있게 정부가 초기 마중물 역할을 해줬으면 한다"고 제언했다.
댓글
0