트레이니엄·CS-3 결합한 ‘분산 추론’ 구조 도입
각사 로고이미지
아마존 웹 서비스(AWS)가 인공지능 반도체 기업 세레브라스 시스템즈(Cerebras Systems)와 협력해 클라우드 환경에서 초고속 AI 추론 서비스를 제공하는 새로운 인프라를 구축한다.
AWS는 지난 13일(현지시간) 세레브라스와 협력을 통해 생성형 AI와 대형언어모델(LLM) 워크로드를 위한 초고속 추론 시스템을 개발하고 이를 자사 생성형 AI 플랫폼인 아마존 베드록(Amazon Bedrock)을 통해 제공할 계획이라고 밝혔다.
이번 협력은 AWS 데이터센터에 구축되는 새로운 인프라를 기반으로 하며, AWS의 AI 칩 트레이니엄(Trainium) 기반 서버와 세레브라스의 AI 시스템 CS-3, 그리고 고속 네트워크 기술인 엘라스틱 패브릭 어댑터(Elastic Fabric Adapter, EFA)를 결합해 구현된다. 서비스는 향후 몇 개월 내 출시될 예정이다.
AI 추론 속도 병목 해결 위한 클라우드 협력
AWS는 이번 협력이 생성형 AI 서비스의 핵심 병목인 추론 속도 문제를 해결하기 위한 것이라고 설명했다.
데이비드 브라운(David Brown) AWS 컴퓨트 및 머신러닝 서비스 부문 부사장은 “AI가 고객에게 실제 가치를 제공하는 단계는 추론 단계지만, 실시간 코딩 지원이나 인터랙티브 애플리케이션과 같은 워크로드에서는 속도가 여전히 중요한 제약 요소”라고 말했다.
그는 이어 “트레이니엄과 CS-3를 결합한 새로운 시스템은 각 프로세서가 가장 잘하는 작업을 수행하도록 설계돼 현재 제공되는 서비스보다 한 단계 이상 빠른 추론 성능을 제공할 것”이라고 설명했다.
세레브라스의 창업자이자 최고경영자(CEO)인 앤드루 펠드먼(Andrew Feldman)은 “AWS와의 협력은 세레브라스의 분산형 추론 기술을 전 세계 클라우드 고객에게 제공하는 중요한 계기가 될 것”이라며 “기업들은 기존 AWS 환경에서 초고속 AI 추론을 활용할 수 있게 된다”고 밝혔다.
‘분산 추론’ 구조로 AI 계산 단계 분리
이번 시스템의 핵심 기술은 인공지능 추론 과정을 여러 단계로 나누어 각각 다른 하드웨어에서 처리하는 ‘분산 추론(inference disaggregation)’ 구조다.
일반적으로 대형 언어 모델의 추론 과정은 크게 두 단계로 구성된다. 첫 번째는 사용자가 입력한 프롬프트를 분석하고 계산하는 프리필(prefill) 단계이며, 두 번째는 모델이 실제 응답을 생성하는 디코드(decode) 단계다.
이 두 단계는 요구되는 컴퓨팅 특성이 크게 다르다. 프리필 단계는 대규모 병렬 연산이 필요한 계산 집약적인 작업으로, 높은 연산 성능이 중요하다. 반면 디코드 단계는 토큰을 하나씩 순차적으로 생성해야 하기 때문에 메모리 대역폭과 지연 시간이 핵심 성능 요소로 작용한다. 특히 디코드 단계는 각 토큰을 순차적으로 생성해야 하는 특성 때문에 전체 추론 시간에서 상당한 비중을 차지하는 경우가 많다.
AWS와 세레브라스는 이러한 특성을 고려해 각 단계에 최적화된 하드웨어를 배치하는 방식을 채택했다. 프리필 단계는 AWS의 인공지능 칩인 트레이니엄이 처리하고, 토큰 생성 과정인 디코드 단계는 세레브라스의 AI 시스템 CS-3가 담당한다.
두 시스템은 AWS의 고속 네트워크 기술인 엘라스틱 패브릭 어댑터(EFA)로 연결돼 데이터를 빠르게 교환한다. 이를 통해 각 프로세서는 자신에게 최적화된 작업에 집중할 수 있으며, 결과적으로 전체 AI 추론 처리 속도를 크게 높일 수 있다는 설명이다.
AWS AI 칩 ‘트레이니엄’과 세레브라스 CS-3 결합
트레이니엄은 AWS가 자체 개발한 AI 칩으로 생성형 AI 학습과 추론을 위한 확장성과 비용 효율성을 목표로 설계됐다.
현재, 앤트로픽(Anthropic)과 오픈AI(OpenAI) 등 주요 AI 연구 기관도 트레이니엄 기반 인프라를 활용하고 있다. 앤트로픽은 AWS를 주요 모델 학습 파트너로 선정했으며, 오픈AI 역시 AWS 인프라에서 대규모 트레이니엄 용량을 활용하고 있다.
세레브라스의 CS-3는 초대형 웨이퍼 기반 프로세서를 활용하는 AI 시스템으로, GPU 대비 수천 배 수준의 메모리 대역폭을 제공하는 것이 특징이다.
특히 최근 AI 모델이 복잡한 추론 과정을 거치는 ‘리저닝 모델’ 중심으로 발전하면서 한 번의 요청에서 생성되는 토큰 수가 크게 증가하고 있어 디코드 단계의 성능 향상이 중요한 과제로 떠오르고 있다.
세레브라스는 이러한 요구에 대응하기 위해 CS-3를 디코드 처리 전용으로 활용하는 구조를 설계했다.
아마존 베드록 통해 AI 모델 지원 확대
AWS는 이번 인프라를 아마존 베드록 플랫폼에서 제공할 계획이다. 베드록은 기업들이 다양한 생성형 AI 모델을 API 형태로 활용할 수 있도록 지원하는 AWS의 AI 플랫폼이다.
AWS는 올해 안에 오픈소스 대형 언어 모델과 자사 모델인 ‘아마존 노바(Amazon Nova)’도 세레브라스 하드웨어에서 실행할 수 있도록 지원할 예정이다. 또한 새로운 인프라는 AWS의 클라우드 보안 및 가상화 기술 기반인 AWS 니트로 시스템(AWS Nitro System) 위에서 동작해 기존 AWS 환경과 동일한 보안성과 운영 일관성을 제공한다.
최근 생성형 AI 시장에서는 모델 학습뿐 아니라 추론 속도와 비용 효율성이 경쟁의 핵심 요소로 부상하고 있다. 특히, 실시간 AI 서비스와 에이전트형 애플리케이션이 확산되면서 초고속 추론 인프라 확보 경쟁도 가속화되고 있다.
AWS와 세레브라스의 이번 협력은 이러한 흐름 속에서 클라우드 기반 AI 추론 성능을 대폭 끌어올리기 위한 전략적 협력 사례로 평가된다.
전미준 기자
다른기사 보기
저작권자 © 인공지능신문
댓글
0