[디지털데일리 이안나기자] 가비아가 국내 AI 반도체 기업 리벨리온 신경망처리장치(NPU) ‘아톰 맥스(ATOM-Max)’ 기반 클라우드 서비스 ‘NPUaaS(NPU as a Service)’를 9일 출시했다.
엔비디아 그래픽처리장치(GPU) 수급 불안정과 비용 부담으로 대체 추론 인프라에 대한 관심이 높아지는 가운데 AI 에이전트·생성형 AI·영상 분석 등 실시간 추론 수요도 빠르게 늘고 있다. NPU는 AI 모델 추론에 특화된 반도체로 GPU 대비 전력 소모가 적고 비용 효율이 높다는 점에서 대안으로 주목받고 있다.
가비아 NPUaaS는 인스턴스(VM) 기반으로 제공되며 OS 커널 수준의 세밀한 환경 설정과 커스터마이징이 가능하다. 아톰 맥스 1장 기준 128테라플롭스 연산 성능, NPU 메모리 64기가바이트(GB), 시스템 메모리 256GB, 무료 트래픽 4테라바이트(TB)를 제공한다.
대규모언어모델(LLM) 서빙 등 고성능 추론 환경의 세밀한 튜닝이 필요한 워크로드, 저지연 실시간 영상·음성 분석, 커널 수준 격리가 요구되는 금융·의료·공공 분야를 주요 타깃으로 한다.
서비스 출시에 맞춰 ‘AI 추론 프레임워크 최적화 컨설팅’도 함께 제공한다. 파이토치·텐서플로 기반 환경 설정부터 성능 최적화까지 전문 인력이 담당한다.
라마3, 젬마 등 오픈소스 LLM이 아톰 맥스 환경에서 최적으로 구동될 수 있도록 프로파일링·커널 최적화·파라미터 튜닝도 지원한다.
정대원 가비아 상무는 “NPUaaS와 전문 컨설팅을 결합해 기업이 인프라 부담 없이 AI 비즈니스에 집중할 수 있는 환경을 만들겠다”고 말했다.
댓글
0