토큰 처리량 전작의 최대 7배 달해
엔비디아 의존 낮추고 자사 최적화
마이크로소프트(MS)가 자체 개발한 인공지능(AI) 반도체를 자사 AI 제품과 서비스에 확대 적용한다.
MS는 내년부터 자체 개발한 AI 반도체 제품군 ‘애저 마이아’를 수GW(기가와트) 규모로 확장해 자사 제품과 서비스의 핵심 AI 추론 시스템으로 활용하겠다고 13일 발표했다. MS는 이날 3세대 AI 가속기 ‘마이아 300’도 새로 공개했다. 로이터통신에 따르면 MS는 내년에 마이아 300을 100만개 이상 배치할 수 있다고 밝혔다.
마이아 300은 AI 활용이 이제 단순한 채팅을 넘어 추론, 행동, 협업하는 에이전트 시스템으로 확장되는 상황에 맞춰 설계됐다. 에이전트 시스템을 뒷받침하려면 최첨단 모델과 많은 처리량을 안정적이고 효율적으로 운영해야 한다는 데 방점을 둔 것이다.
스콧 거스리 MS 클라우드·AI 부문 총괄 부사장은 “마이아 300은 주요 그래픽처리장치(GPU) 기반 시스템보다 ㎿(메가와트)당 40% 더 많은 토큰을 처리할 것”이라고 말했다.
마이아 300은 칩 하나에 고대역폭메모리(HBM4) 8개를 탑재해 950W(와트)의 열 설계전력 내에서 초당 18TB(테라바이트)의 메모리 대역폭을 제공한다. 가속기 96개를 담은 랙 하나가 167㎾(킬로와트)의 전력을 쓰며 랙 단위 토큰 처리량은 전작 마이아 200의 최대 7배에 이른다. 각 랙에서 더 많은 AI 데이터를 동시에 처리해 데이터센터 용량을 높일 수 있다는 얘기다.
MS는 그동안 마이아 200을 코파일럿, 팀즈 등 일부 서비스에 적용했는데 내년부터 대폭 확대 적용을 선언하면서 자체 AI 생태계 구축을 확고히 할 것으로 보인다. 외부 기업인 엔비디아 의존도가 높으면 비용 부담이 커지고 공급 확보에 어려움을 겪을 수 있기 때문이다. 엔비디아 GPU는 여러 용도로 사용 가능(범용)하지만, 자체 개발한 AI 반도체는 자사 제품·서비스에 최적화해 활용할 수 있다는 장점도 있다.
구글도 자체 AI 반도체 텐서처리장치(TPU)로 자사 AI 모델 ‘제미나이’를 학습시키는 등 박차를 가하고 있다. 아마존, 오픈AI, 앤트로픽 등 여러 빅테크 기업들도 앞다퉈 자체 AI 반도체를 개발하고 있다.
김형준 한국과학기술연구원(KIST) 차세대반도체연구소장은 “전용 칩이 있으면 자사 서비스와 맞출 수 있고 성능도 좋아질 수 있기 때문에 대부분의 빅테크가 자체 개발하는 쪽으로 가고 있다”며 “(해당 기업들의) 엔비디아 의존도가 낮아지겠지만 전용 칩을 만들 수 있는 회사가 많지는 않기 때문에 이외 기업들은 엔비디아의 범용 칩을 계속 쓸 수밖에 없을 것”이라고 했다.
댓글
0