= 구글 누리집
[이코리아] 인공지능(AI) 산업의 중심이 학습에서 추론으로 이동하는 흐름 속에서, 구글이 추론 전용 반도체를 공개하며 AI 인프라 경쟁이 치열해지고 있다. 구글은 현지시간 22일 미국 라스베이거스에서 열린 ‘구글 클라우드 넥스트 2026’ 행사에서 8세대 텐서처리장치(TPU)를 공개했다. 이번 세대에서는 모델 학습용 ‘TPU 8t’와 추론 전용 ‘TPU 8i’를 분리하는 이원화 구조를 도입해 연산 효율을 극대화한 것이 특징이다.
추론 전용 칩인 TPU 8i는 지연 시간(latency)에 민감한 AI 에이전트 환경을 겨냥해 설계됐다. 온칩 메모리 확장과 데이터 전송 구조 개선을 통해 병목을 줄였으며, 비용 대비 성능을 크게 끌어올렸다는 설명이다. 구글은 이를 통해 동일한 비용으로 더 많은 사용자 요청을 처리할 수 있는 구조를 구현하는 데 초점을 맞췄다.
구글은 이번 TPU를 단순 반도체가 아닌 ‘AI 하이퍼컴퓨터’ 개념으로 제시했다. 자체 Arm 기반 CPU ‘액시온(Axion)’과 네트워크, 냉각 기술, 소프트웨어 스택까지 결합해 데이터센터 단위의 효율을 높이는 수직 통합 구조다. 토머스 쿠리안 구글 클라우드 CEO는 “추론이 없다면 학습 비용을 감당할 수 없다”며 추론 시장의 중요성을 강조했다.
이 같은 변화의 배경에는 AI 산업의 구조적 전환이 자리한다. 학습이란 AI 모델을 만드는 단계라면, 추론은 완성된 모델이 실제 이용자의 질문에 답하고 업무를 수행하는 서비스 단계를 의미한다. 지금까지는 더 큰 모델을 학습시키기 위한 연산 능력 확보가 핵심이었다면, 최근에는 AI가 실제 서비스로 확산되면서 얼마나 빠르고 저렴하게 결과를 제공할 수 있는지가 더 중요한 경쟁 요소로 떠오르고 있다.
특히 추론 단계에서는 이용자가 늘어날수록 연산 수요도 함께 증가해 전력 소비와 운영 비용 부담이 커진다는 특징이 있어 효율화의 중요성이 커진다. 미국의 글로벌 회계·컨설팅 그룹 딜로이트(Deloitte)는 지난 3월 내놓은 ‘2026년 반도체 산업 전망’ 보고서에서, AI 데이터센터 수요 확대와 함께 반도체 산업의 경쟁 축이 단순 성능 경쟁을 넘어 학습과 추론을 포함한 시스템 전반의 효율성과 통합으로 이동하고 있다고 진단했다. 특히 보고서는 AI 워크로드가 학습뿐 아니라 추론 영역까지 빠르게 확장되면서 데이터센터 인프라 구조 자체가 재편되고 있다고 짚었다.
마이아 200 = 마이크로소프트 누리집
이러한 변화는 AI 반도체 경쟁 구도에도 영향을 미치고 있다. 시장을 주도해온 엔비디아는 GPU 중심 생태계를 유지하면서도 추론 성능 개선에 주력하고 있으며, 비용과 전력 효율을 둘러싼 경쟁이 본격화되는 상황이다.
다른 빅테크 기업들 역시 자체 칩 개발을 통해 대응에 나서고 있다. 엔비디아 GPU에 대한 의존도를 낮추는 동시에, 자사 서비스에 최적화된 저비용·고성능 인프라를 구축해 ‘AI 경제성’을 확보하겠다는 전략이다.
마이크로소프트는 지난 1월, 대규모 AI 토큰 생성의 경제성을 혁신하기 위해 설계된 추론 가속기 ‘마이아 200(Maia 200)’을 공개했다. TSMC 3나노 공정 기반의 이 칩은 오픈AI의 최신 모델인 GPT-5.2를 비롯한 초거대 AI 추론에 최적화됐다. 특히 MS는 칩 단독 성능에 그치지 않고 네트워크와 랙 설계까지 수직 통합한 ‘애저(Azure) 인프라’를 통해 서버 배포 기간을 절반으로 단축하며 인프라 주도권 굳히기에 나섰다.
아마존은 ‘가성비’와 ‘분산 처리’라는 두 마리 토끼를 잡기 위해 나섰다. 지난해 말 공개한 ‘트레이니엄3(Trainium3)’는 기존 대비 전력 효율을 40% 개선하며 운영 비용을 최대 50% 절감하는 데 초점을 맞췄다. 여기에 더해 지난 3월에는 세계 최대 크기의 AI 칩을 만드는 세레브라스(Cerebras)와 손을 잡았다. 입력 처리는 자사 칩(트레이니움)이, 실제 답변 생성은 세레브라스 칩이 담당하는 ‘분산 처리’ 방식을 도입해 추론 속도를 획기적으로 높인다는 계획이다.
메타 역시 추론 전용 칩 로드맵을 공격적으로 전개하고 있다. 메타는 최근 ‘MTIA’ 시리즈의 로드맵을 공개하며, 올해부터 2027년까지 6개월 단위로 4종의 신규 칩(MTIA 300~500)을 순차 투입하겠다고 발표했다. 메타는 자사 서비스의 핵심인 콘텐츠 추천과 광고 알고리즘뿐 아니라, 생성형 AI 추론 수요에 대응하기 위해 칩 설계 주기를 유례없이 단축하며 인프라 내재화에 사활을 걸고 있다.
이 같은 ‘탈(脫) 엔비디아’ 흐름은 국내 반도체 업계에도 기회와 과제를 동시에 안겨주고 있다. SK하이닉스는 마이크로소프트 마이아 200에 HBM3E를 공급하며 입지를 강화하고 있으며, 삼성전자는 구글 TPU 물량 확보와 함께 차세대 HBM4 시장 공략에 나섰다.
댓글
0