AI 무게중심이 학습에서 추론으로 넘어오면서 하이퍼스케일러들의 자체 칩 전략도 달라지는 추세로 분석된다. 최근 구글 클라우드는 자사 최초의 추론 전용 칩을 공개했으며, AWS는 자체 개발 CPU 그래비튼(Graviton)을 추론 수요에 대응하고 있다. 또 AI 학습 칩 트레이니엄 3(Trainium 3)의 추론 성능을 강조하면서 추론 전용 칩 인퍼런시아 3(Inferentia 3)에 대해서는 함구하고 있는 것도 이목을 끈다.
AI 학습에는 방대한 병렬 연산을 수행하는 GPU가 필수지만 추론 단계에서는 데이터 전처리, 입출력 제어, 네트워크 통신 등 복잡한 과정을 처리하는 CPU의 역할이 중요하다. 여러 단계를 추론하고 판단해야 하는 에이전틱(자율) AI에서는 CPU가 전체 흐름을 지휘하는 두뇌 역할을 한다.
최근 AWS는 메타와 수십억 달러 규모의 인프라 사용 계약을 체결했는데 이 계약은 자체 개발 AI 칩 트레이니엄이나 인퍼런시아 아닌, 그래비튼 CPU가 중심이다. 로이터, 블룸버그 등에 따르면 메타는 차세대 AI 모델 개발을 위해 AWS의 저전력 CPU 그래비튼 CPU 코어 수천만 개를 사용하기로 했다.
이번 계약은 수년간 지속되는 장기 파트너십으로, 월스트리트저널에 따르면 수십억 달러 규모에 달한다. 또 이번 계약을 통해 메타는 AWS 그래비튼 칩을 가장 많이 사용하는 5대 고객사 중 하나가 됐다.
메타가 AWS 그래비튼 CPU를 대거 사용하기로 했다. (자료 출처=메타 링크드인)
메타는 특히 192 코어의 그래비튼 5를 활용할 계획이다. 외신들은 이번 계약에 대해 AWS가 엔비디아와의 AI 칩 경쟁에서 중대한 성과를 올렸다고 평가했다.
또 메타는 엔비디아 GPU의 의존도와 수급 부족 리스크에서 벗어나기 위해 컴퓨팅 인프라 다변화를 꾀하고 있다. 메타는 지난 2월 구글 클라우드, AMD와 각각 사용 계약을 체결했다. 구글 클라우드와는 최대 100억 달러 규모의 구글 자체 AI 칩 TPU(Tensor Processing Units)를, AMD에게서는 AMD 인스팅트(Instinct) MI450 시리즈의 메타 맞춤형 버전을 향후 5년간 6GW 용량을 공급받는다. GPU뿐 아니라 AMD의 6세대 EPYC CPU(코드명 베니스)와 헬리오스(Helios) 랙 시스템 도입, AMD의 신주인수권(Warrants)도 부여받는 조건이 계약에 포함돼 있다.
AWS 그래비튼은 앤트로픽에 대한 아마존 투자에도 포함돼 있다. 아마존은 이달 20일 앤트로픽에 대한 기존 투자를 확대해 최대 250억달러를 추가 투자하기로 했으며 그 대가로 3GW 규모의 컴퓨팅 용량을 앤트로픽에 공급한다.
이에 따라 아마존의 앤트로픽에 대한 투자는 누적 330억달러에 이른다. 아마존의 앤트로픽 첫 투자는 지난 2023년이다. 이번 250억달러 투자 중 50억달러를 즉시 집행되고 나머지 200억달러는 상업적 마일스톤 달성 시 진행하기로 했다.
◇ 구글, 학습 전용 TPU 8과 추론 전용 TPU 8i 발표
구글의 경우 지난주 열린 구글 클라우드 넥스트 컨퍼런스에서 AI 학습용과 추론용을 완전히 분리한 8세대 TPU를 새롭게 발표했다. 구글이 자체 개발 AI 칩을 이원화한 것은 이번이 처음으로, 학습용은 TPU 8t, 추론용은 TPU 8i다. 각각 학습(Training), 추론(Inference)을 뜻한다.
AI 학습용 TPU 8t(사진 왼쪽)과 추론용 TPU 8i. (자료 출처=구글 클라우드)
외신들에 따르면 구글의 추론용 TPU 8i는 AI 추론 단계의 고질적 문제인 데이터 병목 현상을 해결하기 위해 설계 변경됐다. SRAM을 384MB로 늘려 데이터를 칩 내부에서 직접 처리함으로써 응답 지연 시간(Latency)을 획기적으로 줄였으며, 칩 간 통신 경로 또한 추론 워크로드를 위해 기존 16단계에서 7단계로 절반 이상 단축시켰다.
또 TPU 8i가 복잡한 다단계 워크플로를 수행하는 AI 에이전트의 추론 엔진 역할을 수행하기 위해, 대기 시간을 최소화하는 집합 가속 엔진(CAE)을 탑재했다는 점도 혁신적이라는 평가를 받았다. 이러한 설계 변경으로 성능비와 저전력 역시 모두 향상됐다.
해외 매체 테크크런치는 구글 클라우드가 추론을 학습과 분리시켜 전용 칩에서 담당하게 함으로써 달러 당 성능비가 80% 더 높아졌다고 소개했다. 또다른 해외 매체 IT프로는 신형 칩의 전력 효율성이 2배 더 높아졌고 대규모 AI 에이전트 운영 시 전력 비용을 낮출 수 있어 기업 고객에게 매력적이라고 평가했다.
학습용 TPU 8t의 경우 구글 클라우드에 따르면 이전 세대보다 3배 빠른 학습 속도를 제공하며, 최대 100만 TPU를 단일 클러스터로 묶어 거대한 연산 자원을 형성할 수 있다.
일각에서는 구글과 대비해 엔비디아는 GPU 하나로 학습과 추론을 모두 처리하는 범용 전략이라고 보고 있다. 그러나 엔비디아가 지난해 말 200억달러(약 29조원)에 실시간 AI 추론 전용 칩 개발사인 그로크(Groq)의 기술 라이선스를 확보했다는 점에서 엔비디아 역시 이원화 전략을 복안으로 삼을 가능성이 있다. 그로크의 창업자이자 CEO인 조나단 로스는 구글 TPU 개발자 출신이다.
AWS "트레이니엄 3, 최고의 추론 플랫폼"
엔비디아는 비슷한 시기에 AI 추론 최적화 플랫폼 서비스 스타트업 베이스텐에 1억 5000만달러를 투자했다. 베이스텐은 'AI 추론 서비스의 AWS'를 목표로 하고 있다. 설계를 달리 하진 않지만 엔비디아는 일반 GPU에서 NVLink 등을 줄이고 저렴한 L4, L40S 등을 추론용으로 제안하고 있다.
오히려 AWS가 추론과 학습 칩을 통합할 여지를 비추고 있다. AWS는 원래부터 학습용 칩 트레이니엄과, 추론용 칩 인퍼런시아로 이원화해 왔는데, 지난해 연말 AWS 리인벤트 2025 컨퍼런스에서 차세대 학습용 칩 트레이니엄 3을 공개하면서 이 칩이 추론 성능도 대폭 개선될 것으로 소개했다.
최신 AI 모델들은 몸집이 계속 커지면서 추론 전용 인퍼런시아의 메모리 용량으로는 감당하기 어렵다. 트레이니엄 3는 칩당 144GB의 고대역폭 메모리를 탑재해 초대형 모델의 추론에 훨씬 유리하다는 게 AWS의 설명이다. 모델을 학습시킨 칩 환경 그대로 추론에 사용하면, 별도의 최적화나 포팅 과정 없이 '학습 직후 즉시 배포'가 가능한 것도 이점이다.
해당 컨퍼런스에서 AWS는 트레이니엄3가 세계 최고의 추론 플랫폼이 될 것이라고 밝히기도 했다. 트레이니엄 3는 지난달부터 정식 서비스에 들어갔다. 추론 칩 인퍼런시아에 대해서는 트레이니엄과 함께 차세대 개발 중이라는 언급만 있을 뿐, 인퍼런시아 3에 대한 공개나 공식 멘트는 없는 상황이다.
AWS 트레이니엄 3가 앤트로픽을 핵심 파트너로 하고 있다면 올 1월 발표된 마이크로소프트의 마이아 200은 오픈AI를 파트너로 개발된 추론 칩이다. 216GB의 HBM3e 메모리를 탑재해 대역폭 병목을 최소화했다. 발표 당시 마이크로소프트는 마이아 200이 AWS 트레이니엄3보다 3배 더 높은 FP4(4비트 부동소수점) 연산 처리량을 제공한다고 주장했다.
앤트로픽, 구글 클라우드까지 3대 하이퍼스케일러가 모두 투자
한편, AWS와 메타의 계약 발표와 같은 날, 앤트로픽에 구글(알파벳)의 400억달러 투자도 발표됐다. 투자의 대가는 구글 클라우드가 향후 5년 동안 앤트로픽에 5GW 규모의 컴퓨팅 파워를 공급하는 것으로, 구글과 브로드콤이 공동 개발하는 차세대 TPU 중심이다.
이에 따라 앤트로픽은 3대 하이퍼스케일러들의 투자를 모두 받게 됐다. 구글의 투자 또한 총 400억달러 중 100억달러만 즉시 지급되며, 나머지 300억달러는 앤트로픽이 특정 마일스톤(성능 지표 또는 상업적 성과)를 달성할 때 집행된다. 이번 투자에서 앤트로픽의 기업가치는 3500억달러로 평가됐다.
오픈AI와 앤트로픽에 대한 하이퍼스케일러 투자와 컴퓨팅 인프라 사용 계약 관계. (단위=달러, 자료 정리=디일렉)
마이크로소프트의 경우 지난해 11월 엔비디아와 함께 150억 달러를 앤트로픽에 투자하기로 했으며, 마이크로소프트가 50억달러를 투자한다. 앤트로픽에 마이크로소프트 애저 컴퓨팅 인프라 규모는 비공개이나 외신들은 1~1.5GW, 수십억달러 규모로 추정하고 있다.
구글 클라우드까지 앤트로픽과 사용 계약을 체결함으로써 앤트로픽은 오픈AI의 비판에서 한발 물러설 수 있게 됐다. 오픈AI는 최근 내부 메모를 통해 앤트로픽이 AI 모델을 서비스하는 데 필요한 컴퓨팅 인프라를 충당하고 있지 못하다는 의견을 피력한 바 있다.
투자 관계에서 아마존(AWS)와 마이크로소프트는 앤트로픽, 오픈AI에 동시 투자하는 데 반해 소프트뱅크는 오픈AI에만, 구글은 앤트로픽에만 투자하고 있다.
박현선 전문기자
댓글
0