구글이 8세대 텐서 프로세서 유닛(TPU·Tensor Processing Unit) 모델 훈련 전용 'TPU 8t'와 추론 전용 'TPU 8i' 두 종을 공개했다.[사진=구글]
[디지털데일리 이상일기자] 구글이 8세대 텐서 프로세서 유닛(TPU·Tensor Processing Unit) 두 종을 공개했다. 모델 훈련 전용 'TPU 8t'와 추론 전용 'TPU 8i'로, 단일 칩이 두 작업을 함께 처리하던 기존 방식에서 벗어나 기능을 분리한 것이 핵심이다. 두 제품 모두 올해 말 출시 예정이다.
22일(현지시간) 구글 AI 및 인프라 담당 수석부사장 아민 바흐다트(Amin Vahdat)는 구글 블로그를 통해 "AI 에이전트의 부상과 함께 훈련과 서비스 제공 요구 사항에 맞춰 개별 특화된 칩이 커뮤니티에 도움이 될 것이라 판단했다"고 밝혔다.
TPU 8t는 대규모 훈련 워크로드에 최적화됐다. 단일 슈퍼포드 기준 9600개 칩과 2페타바이트(PB) 규모의 공유 고대역폭 메모리를 지원하며, 121 엑사플롭스(ExaFLOPS)의 연산 성능을 제공한다. 이전 세대 대비 포드당 연산 성능이 약 3배 향상됐다. 새로운 버고 네트워크(Virgo Network)와 잭스(JAX) 소프트웨어를 결합하면 단일 클러스터 내 최대 100만 개 칩까지 준선형 확장이 가능하다. 가동률을 나타내는 '굿풋(goodput)'은 97% 이상을 목표로 설계됐다.
추론 전용 TPU 8i는 지연 시간 최소화에 초점을 맞췄다. 칩당 288GB 고대역폭 메모리와 384MB의 온칩 SRAM을 탑재했다. SRAM 용량은 이전 세대 아이언우드(Ironwood) 대비 3배다. 새로운 보드플라이(Boardfly) 아키텍처를 통해 최대 네트워크 직경을 50% 이상 줄였고, 온칩 집합 가속 엔진(CAE·Collectives Acceleration Engine)으로 지연 시간을 최대 5배 단축했다. 이전 세대보다 비용 대비 성능이 80% 향상됐다고 구글은 설명했다.
두 칩 모두 구글이 자체 개발한 액시온(Axion) ARM 기반 CPU 호스트에서 구동된다. 잭스(JAX), 파이토치(PyTorch), SGLang, vLLM 등 주요 개발 프레임워크를 지원하며, 베어 메탈 방식으로 하드웨어에 직접 접근할 수 있다.
이번 발표는 엔비디아가 추론 특화 칩 경쟁을 강화하는 가운데 나왔다. 엔비디아는 지난 3월 칩 스타트업 그록(Groq) 인수 계획을 발표하며 추론 가속 시장 공략을 예고했다. 구글은 자사 훈련용 칩이 아이언우드 대비 동일 가격에 2.8배 성능을 제공한다고 밝혔으나 엔비디아 제품과의 직접 비교 수치는 내놓지 않았다.
구글의 기업 인공지능(AI) 칩 채택 사례도 확산 중이다. 시타델 시큐리티스(Citadel Securities)는 TPU 기반 정량적 연구 소프트웨어를 개발했다. 미국 에너지부 산하 17개 국립 연구소 전체가 TPU 기반 AI 공동 연구 소프트웨어를 사용한다. 앤트로픽(Anthropic)은 수 기가와트 규모의 구글 TPU 사용을 약정했다.
댓글
0