[3월19일] "AI 사용 기업, 앞으로 '토큰 효율성' 따질 것...개인별 사용...

업무에 AI를 사용하지 않으면 인사 불이익을 주겠다는 말이 나온 지 얼마 되지 않았는데, 이제는 그 결과까지 따지겠다는 소식이 전해졌습니다.

월스트리트 저널(WSJ)

은 17일(현지시간) 미국의 일부 기업이 직원들의 토큰 사용량 추적에 나섰다고 보도했습니다.

토큰은 AI가 처리하는 데이터의 단위를 말합니다. 예를 들어, 텍스트 기반 AI는 750개의 단어를 생성하는 데 약 1000개의 토큰이 사용됩니다. 코드를 작성하거나, 비디오 및 오디오를 제작하거나, 에이전트가 복잡한 작업을 수행할 때는 더 많은 토큰이 사용됩니다.

최근 부쩍 강조되는 단어이기도 합니다. 실제로 젠슨 황 엔비디아 CEO나 사티아 나델라 마이크로소프트(MS)는 앞으로 지식 노동이 '토큰 경제'가 중심으로 변환될 것으로 예측했습니다.

황 CEO는 16일

'GTC' 키노트

를 통해 "과거의 데이터센터는 파일을 저장하는 곳이었지만, 미래의 데이터센터는 토큰을 생산하는 'AI 공장'이 될 것"이라며 "당신의 토큰 처리량과 생성 속도가 내년 매출 곡선을 결정할 것"이라고 말했습니다.

또 미래에는 모든 엔지니어에게 기본 급여 외에 '연간 토큰 예산'을 부여, 업무 효율을 10배 이상 높이는 것이 새로운 채용과 보상 기준이 될 것이라고 예고했습니다.

나델라 CEO

도 지난 1월 다보스포럼에서 토큰을 전기나 석유와 같은 '새로운 상품'으로 규정하며, 이를 경제적 가치로 전환하는 효율성을 강조했습니다.

그는 "에너지라는 희소 자원을 사용해 토큰을 생성할 수 있는 '사회적 허락'은 오직 그 토큰이 의료와 교육, 경제적 생산성 향상 등 실질적인 가치를 창출할 때만 유지될 수 있다"라고 말했습니다. 또 국가와 기업의 성장은 얼마나 저렴한 에너지로 얼마나 많은 고품질 토큰을 생산하느냐는 '와트당 토큰(Tokens per dollar per watt)'에 따라 결정될 것이라고 봤습니다.

이들의 말은 유한한 자원을 활용, 얼마나 AI에서 많은 생산성을 산출하느냐가 중요해질 것이라는 내용입니다.

그리고 이런 점은 이윤 추구가 목적인 기업에서는 가장 핵심적인 요소가 될 수 있습니다.

브랜든 사무트 제피어 최고 AI 책임자는 "이제 새로운 유형의 비용 항목이 생겼다"라며, 이제부터는 AI 사용에 들어가는 비용이 기업의 주요 고려 사항이 됐다고 밝혔습니다.

토큰 가격은 꾸준히, 그리고 빠르게 하락하고 있습니다. 일반적으로 1년마다 수십배씩 비용은 줄어드는 것으로 전해지고 있습니다. 그러나 AI 사용량이 비용 하락을 능가할 정도로 빠르게 늘어나는 것이 문제입니다.

바이브 코딩은 지난 1년 사이에 폭발적인 성장을 이뤘고, 이제는 AI 에이전트의 뒤를 잇고 있습니다. 각종 업무를 대신 처리하는 에이전트는 단순 AI 챗봇보다 업무에 따라 100배 이상의 토큰을 사용하는 것으로 알려져 있습니다.

물론 대부분 기업은 아직도 ​​직원들에게 AI 활용을 독려하는 수준입니다. 아직 챗봇 사용료가 큰 부담이 될 정도는 아니기 때문입니다.

하지만 일부 앞서 나가는 기업이나 AI 사용량이 많은 기업들은 이미 AI 활용 현황을 추적하고 비용을 계산하기 시작했다는 것입니다. 이를 통해 뛰어난 성과를 낸 직원과 단순히 토큰을 '낭비한' 직원을 가려내기 시작했다는 말입니다.

사무트 책임자는 "우리는 결론을 도출하기 시작했다"라며 "토큰 사용 패턴이 바람직한지, 아니면 코칭을 통해 벗어나도록 도와야 할 잘못된 패턴인지를 밝히고 있다"라고 말했습니다.

브라이언 자바리언 시카고대학교 부스 경영대학원 연구원은 "AI를 사용하면 생산성이 향상되고 모든 게 해결될 거라고 생각지만, 현실은 훨씬 더 복잡하다"라고 설명했습니다.

이제까지는 업무에 AI를 사용하는 것, 그리고 남들보다 더 많이 사용하는 것이 권장할 일로 여겨졌지만, 이제는 효율성까지 갖춰야 한다는 것입니다.

실제로 AI 클라우드 전문 버셀(Vercel)의 선임 엔지니어는 최근 연구 논문을 분석하고 이를 통해 새로운 핵심 인프라 서비스를 구축했다고 합니다. AI를 활용해 단 하루 만에 꽤 괜찮은 결과물을 만들어냈는데, 이는 사람이 직접 작업했다면 몇주 또는 몇달이 걸렸을 작업입니다.

그런데 문제는 사용한 토큰의 가격이 1만달러 어치로, 사람의 인건비와 비교될 정도라는 것입니다. 기예르모 라우흐 버셀 CEO는 이를 두고 "마치 소방호스로 연료를 쏟아붓는 것과 같다"라고 표현했습니다.

이런 문제는 직원 수가 소규모인 스타트업에서 더 민감한 것으로 전해졌습니다. AI 결과물의 수준과 들어간 비용 간의 효율성을 따지는 것은 물론, 일부 스타트업은 사내에서 사용량을 제한하는 정책도 시행하는 것으로 알려졌습니다.

물론 아직 이런 현상은 코딩 전문 스타트업 등 업무에 AI를 전격 도입한 일부 회사의 일로 보입니다. 대부분은 생산성을 강조하며 AI 도입을 독려하는 수준입니다.

그러나 앞으로 AI 성능이 더 좋아지고 에이전트 활용이 일반화되면, AI 비용은 무시할 수준이 아닐 정도로 늘어날 수 있습니다. 기업이 AI를 도입하려는 것은 이를 통해 직원을 줄이거나 아니면 기존보다 몇배의 결과를 내기 위한 것입니다. 결국 비용 대비 결과의 효율성을 따질 수밖에 없는 구조가 될 것은 뻔합니다.

여기에 WSJ는 앞으로는 규모와 상관없이 많은 기업이 토큰 사용량 급증을 보이는 직원을 따로 불러 문제를 제기하는 사례가 드물지 않을 것으로 예측했습니다. 라우흐 버셀 CEO는 "사람들은 AI를 사이드 프로젝트에 사용할 수도 있고, 개인적인 사업이나 스타트업, 부업 등에 사용할 수도 있다"라며 "사내의 남용 사례가 많이 발생할 것"이라고 말했습니다.

이는 기업이 AI의 사용량은 물론, 사용 내용까지도 따질 수 있다는 뜻입니다. 회사가 법인카드 사용 내용을 검토하듯, 이제는 직원이 사용한 토큰 영수증을 따지는 시대가 다가왔다는 것입니다.

개인적으로는 AI 활용 능력이라는 것이 단순히 AI를 쓸 줄 아는 단계를 넘어, 최적의 비용으로 최대의 결과물을 뽑아내는 능력까지 포함하게 된다는 것을 의미합니다.

이어 18일 주요 뉴스입니다.

황인호 바운드포 대표 "물리 데이터 풀 스택 서비스로 피지컬 AI 혁신"

바운드포는 로봇이 실생활에서 제대로 작동하지 못하는 원인을 '지능'이 아닌 '데이터 품질'에서 찾고, 이를 해결하기 위한 인프라를 구축하겠다고 밝혔습니다. 데이터의 설계부터 피드백까지 사람의 개입 없이 순환하는 FSD 시스템으로, 단순 이미지가 아니라 '물리 법칙'을 데이터에 이식했다는 점을 강조했습니다.

오픈AI, 소형 모델 ‘GPT-5.4 미니·나노’ 출시..."전 세대 중형급 성능"

GPT-4.5 미니는 최근 AI의 발전 속도가 얼마나 빨라졌는지를 보여주는 좋은 사례입니다. 소형 모델로 바로 전 세대의 중형급 성능을 따라잡고 있습니다. 그리고 이제는 빠른 소형 모델과 고성능의 플래그십 모델을 혼합, 효율성을 극대화하려는 전략이 강조되고 있습니다.

네이버, '서울 월드 모델' 공개..."실제 장면 기반으로 텍스트 탐험 가능"

실제 서울 시내 모습을 그대로 구현한 월드 모델이 등장했습니다. 여기에 텍스트 프롬프트로 각종 상황을 만들어 낼 수 있다는 것입니다. 시각적인 사실성은 상당한데 물리적인 사실성은 어딸지 궁금합니다.

AI타임스 news@aitimes.com

AI타임스