[에디터 프리즘] ‘토큰 경제’

김창규 경제산업에디터

미국의 빅테크 메타는 직원이 인공지능(AI)의 토큰(Token)을 얼마나 사용했는지를 실시간으로 비교하는 시스템을 구축했다. 토큰을 사용한 상위 250명도 수시로 공개한다. 상위에 오른 직원에겐 ‘레전드’ 같은 칭호도 부여한다. 아마존도 개발자의 80% 이상이 매주 AI를 사용하도록 목표를 제시했다. 올해부터는 내부 게시판에서 토큰 소비량을 추적하고 있다. 이 때문에 직원 사이에선 AI 사용량을 부풀리는 ‘토큰맥싱(Tokenmaxxing·토큰 최대화)’이 일어나고 있다. 캐나다 전자상거래 기업 쇼피파이 창업자인 토비 뤽케는 사내에 “더 많은 인원과 자원을 요청하기 전에 AI를 활용해 해당 업무를 수행할 수 없는 이유를 증명해야 한다”고 선언했다.

AI가 언어를 이해하는 최소 단위

전세계 산업질서의 새판을 짜다

토큰은 AI가 세상을 이해하고 출력하는 가장 작은 ‘지능의 파편’이다. 인간이 문장을 한 덩어리의 의미로 읽을 때 AI는 단어와 문장, 띄어쓰기와 기호를 잘게 쪼개 계산한다. 그 쪼개진 조각이 토큰이다. 보통 영어 단어 0.75개가 1 토큰에 해당한다. 문단 하나는 대략 100개 내외의 토큰으로 바뀐다. 사용자가 질문을 입력하면 AI는 토큰 단위로 문맥을 이해하고, 다시 토큰 단위로 답변을 만들어낸다. 결국 AI가 생각하는 과정 전체는 토큰의 흐름이라고 볼 수 있다.

18세기 경제학자 애덤 스미스가 분업으로 생산의 시대를 열었다면, 21세기 생성형 AI는 지적 노동을 규격화된 단위로 나눈 ‘토큰의 시대’를 불러들였다. 이 작은 단위는 단순한 데이터에 그치지 않는다. 경제 가치를 창출하는 핵심 변수가 됐다. AI 모델의 성능은 얼마나 많은 토큰을 효율적으로 처리할 수 있느냐에 달렸고, 기업의 수익성은 토큰 하나를 생성하는 데 드는 비용을 얼마나 낮추느냐에 의해 결정된다. 젠슨 황 엔비디아 최고경영자(CEO)가 지난 3월 “AI를 쓰지 않는 것은 칩 설계에 종이와 연필을 사용하는 것과 같다”며 유능한 엔지니어라면 연봉의 절반은 토큰을 사는 데 써야 한다고 말할 정도다.

토큰은 산업의 문법마저 바꾸고 있다. 인터넷 시대엔 데이터를 많이 가진 플랫폼 기업이 시장을 지배했다. 하지만 AI 시대에는 토큰 처리 능력이 핵심 자산이 된다. AI 기업은 토큰당 단가를 소수점 단위까지 줄이며 무한 경쟁을 펼치고 있다. 그동안 소프트웨어 산업에서 유료 구독 모델 중심이었다면 이제는 ‘쓴 만큼 내는’ 토큰 기반 과금 체계가 표준이 됐다. AI 기업은 정액제 대신 ‘토큰 과금’을 발 빠르게 도입하고 있다. 앤스로픽은 기업용 제품을 정액제 요금제에서 토큰 기반 요금제로 모델을 전환했다. 오픈AI도 이달 초 AI 코딩 도구에 토큰 기반 요금제를 도입했다. 오픈AI의 경우 입력 토큰은 100만 개당 2.5달러인 반면 출력 토큰은 100만 개당 15달러로 6배에 달한다. 이렇다 보니 일반 기업에서도 “토큰 비용을 어떻게 관리해야 할 것인가”가 주요한 경영 과제로 떠오르고 있다.

토큰 경제의 그림자도 짙다. AI가 생성한 토큰을 AI가 다시 학습하다 보니 근친교배와 비슷한 결함을 만든다. 영국 옥스퍼드·케임브리지 대학 연구진에 따르면, AI 생성 데이터를 반복 학습한 모델은 시간이 지날수록 현실의 복잡성을 잊어버리고 단순화된 답변만 내놓는 ‘모델 붕괴’ 현상을 보였다. 데이터의 양적 팽창이 지능의 질적 빈곤을 낳는 셈이다. 한국의 상황은 절박하다. 한국은 세계적인 수준의 IT 인프라가 있지만 토큰 생태계에서는 주변부에 머물러 있다. 여기에 같은 의미의 문장을 처리할 때 한국어는 영어보다 2~3배 많은 토큰을 사용한다. AI 경쟁에서 시작부터 ‘언어적 세금(Linguistic Tax)’을 더 내는 꼴이다. 한국어에 특화된 토큰화 도구와 독자적 생태계 구축이 절실한 이유다.

토큰은 AI 언어이자 새로운 산업의 화폐가 되고 있다. 애덤 스미스 시대의 ‘보이지 않는 손’이 시장을 움직였다면 이제는 AI의 ‘보이지 않는 토큰’이 산업을 좌지우지하는 시대가 왔다.