'TPU 8i' 이미지(사진:구글)
구글이 에이전틱 AI(Agentic AI) 시대를 겨냥한 차세대 반도체를 공개하며 인공지능(AI) 인프라 경쟁력 강화에 나섰다.
구글은 22일(현지시간), ‘구글 클라우드 넥스트(Google Cloud Next)’ 행사에서 8세대 텐서처리장치(Tensor Processing Unit. 이하, TPU)인 'TPU 8t'와 'TPU 8i'를 발표했다. 이번 8세대 TPU는 10년 이상 축적된 기술 개발의 결과물로, 초대형 AI 모델 학습부터 대규모 추론, 에이전트 워크로드까지 전방위적으로 지원하는 것이 특징이다.
특히 이번 세대는 학습과 추론을 각각 최적화한 이원화된 아키텍처를 채택해, 급변하는 AI 인프라 수요에 대응할 수 있도록 설계됐다.
최근 AI는 단순한 예측 모델을 넘어, 문제를 스스로 추론하고 다단계 작업을 수행하며 지속적으로 학습하는 ‘에이전트’ 형태로 진화하고 있다. 이러한 변화는 인프라 측면에서도 새로운 요구를 만들어내고 있다.
구글은 TPU 8t와 TPU 8i를 구글 딥마인드와 공동 설계해, 복잡한 추론과 연속적인 작업 수행을 요구하는 최신 AI 워크로드를 처리할 수 있도록 했다. 기존 TPU가 파운데이션 모델을 구동하는 핵심 인프라였다면, 이번 8세대는 에이전트 기반 AI 운영 환경 전체를 지원하는 인프라로 확장된 것이 특징이다.
▷TPU 8t: 초대형 모델 학습 위한 ‘트레이닝 특화 칩’
TPU 8t는 대규모 연산 처리에 최적화된 학습 전용 칩으로, 초거대 AI 모델 개발 속도를 획기적으로 단축하는 데 초점을 맞췄다.
단일 슈퍼팟(Superpod)은 최대 9,600개 칩으로 확장 가능하며, 2페타바이트 규모의 고대역폭 메모리를 공유한다. 이를 통해 총 121 엑사플롭스(ExaFlops)의 연산 성능을 제공하며, 이전 세대 대비 약 3배 향상된 성능을 구현했다.
또한 저장장치 접근 속도를 10배 개선하고 데이터 전송을 최적화함으로써 전체 시스템 활용도를 극대화했다. 새로운 네트워크 구조와 소프트웨어 스택(JAX, Pathways)을 통해 최대 수십만 개 칩 단위에서도 선형에 가까운 확장성을 확보한 점도 특징이다.
아울러 실시간 장애 감지 및 자동 복구 기능을 포함한 신뢰성·가용성·서비스성(RAS) 기술을 적용해, 실제 유효 연산 시간(‘굿풋’)을 97% 이상으로 유지하도록 설계됐다.
▷TPU 8i: 에이전트 추론 최적화 ‘리저닝 엔진’
TPU 8i는 지연시간(latency)에 민감한 추론 작업과 에이전트 간 협업을 처리하기 위해 설계된 칩이다.
특히 다수의 AI 에이전트가 동시에 상호작용하는 ‘스워밍(swaming)’ 환경에서 발생하는 병목을 해결하는 데 초점을 맞췄다. 이를 위해 고대역폭 메모리(288GB)와 온칩 SRAM(384MB)을 결합해 데이터 이동을 최소화하고, 연산 효율을 높였다.
또한 구글의 자체 설계 CPU인 액시온(Axion) 기반 구조를 도입해 시스템 전체 성능을 최적화했으며, 인터커넥트 대역폭을 대폭 확장해 최신 전문가 혼합(mixture-of-experts, MoE) 모델을 효과적으로 지원한다. 여기에 온칩 연산 가속 엔진(CAE)을 통해 지연시간을 최대 5배 줄이며, 결과적으로 이전 세대 대비 약 80% 향상된 비용 대비 성능을 제공한다.
이번 8세대 TPU는 단순한 반도체 성능 향상을 넘어, 하드웨어·소프트웨어·네트워크를 통합 설계하는 ‘코디자인(Co-design)’ 전략의 결과물이다.
구글은 TPU와 함께 데이터센터, 네트워크, 소프트웨어 스택까지 통합 최적화하는 ‘AI 하이퍼컴퓨터(AI Hypercomputer)’ 전략을 추진하고 있다. 이를 통해 연산 성능뿐 아니라 전력 효율과 확장성까지 동시에 확보한다는 목표다.
실제로 TPU 8t와 TPU 8i는 이전 세대 대비 최대 2배 이상의 전력 대비 성능(per-watt)을 제공하며, 구글 데이터센터는 5년 전 대비 동일 전력으로 6배 이상의 연산 성능을 구현하고 있다.
▷전력·냉각 혁신, 데이터센터 효율성 극대화
AI 인프라 확장에 있어 전력은 핵심 제약 요소로 떠오르고 있다. 이에 구글은 칩 설계뿐 아니라 시스템 전체에서 전력 효율을 최적화하는 전략을 적용했다.
구글 클라우드의 4세대 냉각 분배 장치
TPU 8세대는 실시간 전력 관리 기능을 통해 수요에 따라 전력 사용을 조절하며, 4세대 액체 냉각 기술을 적용해 공랭 방식으로는 구현하기 어려운 고밀도 연산 환경을 지원한다.
또한 네트워크와 연산 기능을 동일 칩에 통합함으로써 데이터 이동에 따른 전력 소비를 줄이는 등, 시스템 전반에서 에너지 효율을 극대화했다.
▷에이전트 컴퓨팅 시대, AI 인프라 패러다임 전환
구글은 이번 TPU 8t와 TPU 8i를 통해 에이전틱 컴퓨팅 시대에 필요한 인프라 전환을 본격화한다는 전략이다.
에이전트 기반 AI는 추론·계획·실행·학습을 반복하는 구조를 갖는 만큼, 기존과는 전혀 다른 수준의 연산과 확장성을 요구한다. 구글은 이를 해결하기 위해 학습과 추론을 각각 최적화한 두 개의 칩을 제시하며, 새로운 표준을 제시했다.
TPU 8t와 TPU 8i는 올해 중 정식 출시될 예정이며, 구글 클라우드 기반 AI 인프라에서 핵심 역할을 수행할 전망이다.
업계에서는 이번 발표를 두고 “AI 반도체 경쟁이 단일 칩 성능을 넘어, 에이전트 시대를 위한 인프라 설계 경쟁으로 확장되고 있다”는 평가가 나온다.
댓글
0