가비아가 국내 AI 반도체 기업 리벨리온의 NPU(신경망처리장치) 'ATOM-Max' 기반 클라우드 서비스 'NPUaaS'를 9일 출시했다. 사진=가비아
[포인트데일리 손지하 기자] 가비아가 국내 AI 반도체 기업 리벨리온의 NPU(신경망처리장치) 'ATOM-Max' 기반 클라우드 서비스 'NPUaaS'를 9일 출시했다. 엔비디아 GPU 수급 불안정과 비용 부담으로 공급망 리스크가 부각되면서 국산 AI 반도체 기반 추론 인프라에 대한 기업 수요가 늘고 있는 가운데 나온 서비스다.
NPUaaS(NPU as a Service)는 NPU 인프라를 클라우드 방식으로 구독해 사용하는 서비스다. NPU는 학습된 AI 모델을 실제 서비스에 적용하는 추론 작업에 특화된 반도체로 GPU 대비 전력 소모가 적고 비용 효율이 높다. 가비아의 NPUaaS에 탑재된 ATOM-Max는 1장 기준 128 TFLOPS(FP16) 연산 성능과 NPU 메모리 64GB, CPU 16vCore, 시스템 메모리 256GB, 무료 트래픽 4TB를 제공한다. LLM·비전 AI·멀티모달 AI·피지컬 AI 등 다양한 워크로드를 지원한다.
가비아는 서비스 출시와 함께 'AI 추론 프레임워크 최적화 컨설팅'도 제공한다. SDK 기반 환경 설정부터 성능 최적화까지 전문 인력이 직접 담당하며 Llama 3·Gemma 등 오픈소스 LLM이 ATOM-Max 환경에서 최적으로 구동되도록 프로파일링·커널 최적화·파라미터 튜닝을 지원한다. 정대원 가비아 상무는 "AI 서비스의 경쟁력은 모델 성능만큼이나 추론 환경의 효율성에 달려 있다"며 "NPUaaS와 전문 컨설팅을 결합해 기업이 인프라 부담 없이 AI 비즈니스에 집중할 수 있는 환경을 만들겠다"고 말했다.
댓글
0