내용요약
리벨리온 ATOM-Max 기반 구독형 서비스 출시
고비용·수급난 속 추론 시장 대안 부상
클라우드 기업 가비아가 국내 인공지능(AI) 반도체 기업 리벨리온의 신경망처리장치(NPU)를 기반으로 한 서비스를 출시했다./가비아
| 서울=한스경제 박정현 기자 | 클라우드 기업 가비아가 국내 인공지능(AI) 반도체 기업 리벨리온의 신경망처리장치(NPU)를 기반으로 한 서비스를 출시했다고 9일 밝혔다.
이는 리벨리온의 ‘ATOM-Max’를 기반으로 한 ‘NPUaaS’다. 가비아는 엔비디아 그래픽처리장치(GPU) 수급 불안과 비용 부담으로 국내 AI 반도체 기반 추론 인프라를 대안으로 검토하는 기업이 늘고 있다고 설명했다.
NPU는 학습된 AI 모델을 실제 서비스에 적용하는 추론 작업에 특화된 반도체로 GPU 대비 전력 소모가 적고 비용 효율성이 높다는 데 강점이 있다.
이 서비스는 인스턴스(VM) 기반으로 제공되며 운영체제(OS) 커널 수준의 세밀한 환경 설정과 커스터마이징이 가능하다. 특정 AI 워크로드 요건에 맞춘 정밀한 인프라 구성을 지원하고 서비스 목적에 따라 유연한 확장이 가능한 것이 특징이다.
가비아 NPUaaS에서 활용 가능한 ATOM-Max는 단일 카드 기준 128 TFLOPS(FP16)의 연산 성능과 함께 NPU 메모리 64GB, CPU 16vCore, 시스템 메모리 256GB, 무료 트래픽 4TB를 제공한다. LLM, 비전 AI, 멀티모달 AI, Physical AI 등 다양한 워크로드를 지원하며 도입 규모에 따라 다중 구성도 가능하다.
주요 타깃 고객은 특정 AI 워크로드에 맞춰 인프라 환경을 정밀하게 제어해야 하는 기업이다. 대규모 LLM 서빙과 같은 고성능 추론 환경의 세밀한 튜닝이 필요한 경우나 저지연이 요구되는 실시간 영상·음성 분석, 커널 수준 격리가 필요한 금융·의료·공공 분야 등에 적합하다.
가비아는 서비스 출시와 함께 ‘AI 추론 프레임워크 최적화 컨설팅’도 제공한다. AI 모델 개발 이후 서빙 환경 구축 단계에서 어려움을 겪는 기업 수요를 반영한 조치다. 컨설팅은 SDK 기반 환경 설정부터 성능 최적화까지 전문 인력이 직접 수행하며 PyTorch와 TensorFlow를 지원한다. 또한 Hugging Face Hub에 등록된 오픈소스 모델과의 연동도 가능하다.
서빙 및 최적화 도구로는 vLLM, Triton Inference Server, TorchServe 등을 활용하며, 고객사 워크로드 특성에 맞춘 맞춤형 기술 지원도 병행한다. Llama 3, Gemma 등 오픈소스 LLM이 ATOM-Max 환경에서 최적으로 구동될 수 있도록 프로파일링, 커널 최적화, 파라미터 튜닝을 지원한다. 해당 컨설팅은 출시 시점 기준 도입을 협의 중인 PoC 고객사를 대상으로 제공된다.
정대원 가비아 상무는 “AI 서비스 경쟁력은 모델 성능뿐 아니라 추론 환경의 효율성에 달려 있다”며 “NPUaaS와 전문 컨설팅을 결합해 기업들이 인프라 부담 없이 AI 비즈니스에 집중할 수 있는 환경을 제공하겠다”고 말했다.
댓글
0