"AI 추론에 필요한 고성능 컴퓨팅 수요 대응"
3분기엔 필요한 만큼 쓰고 돈 내는 서비스도
삼성SDS가 23일 출시했다고 밝힌 B300 기반 클라우드 구독 서비스 'GPUaaS'를 소개한 포스터. 삼성SDS 제공
삼성SDS가 국내 최초로 엔비디아의 최신 그래픽저장장치(GPU) 'B300' 기반 클라우드 구독 서비스를 내놓으며 기업용 인공지능(AI) 인프라 시장 공략에 나섰다.
삼성SDS는 23일 '삼성 클라우드 플랫폼'에 B300(블랙웰 울트라)을 적용한 GPU 구독형 서비스 'GPUaaS'를 출시했다고 밝혔다. 기업들이 AI 모델을 학습시키는 개발 과정을 넘어 다양한 AI 서비스를 구현하는 AI 추론 단계로 진입함에 따라 더욱 커지는 고성능 컴퓨팅 수요에 대응하기 위한 전략이다.
B300 GPU는 12단 고대역폭메모리(HBM3E)를 탑재해 GPU당 288기가바이트(GB) 메모리 용량과 초당 8테라바이트(TB) 대역폭을 제공한다. 대역폭은 전송될 수 있는 데이터 양을 의미하며, 수치가 클수록 한 번에 더 많은 데이터를 보낼 수 있다. B300은 복잡한 연산이 필요한 AI 추론 영역에서 전작인 H100 대비 용량은 3.6배, 대역폭은 2.4배로 개선됐다. 삼성SDS 관계자는 "대규모언어모델(LLM)을 실행할 때 GPU의 연산 처리 속도보다 메모리의 데이터 전송 속도가 느려 전반적인 성능이 떨어지는 데이터 병목 현상이 획기적으로 개선됐다"고 설명했다.
앞서 삼성SDS는 2021년 엔비디아의 A100, 2023년 H100 기반 GPUaaS를 도입했다. H100 기반 GPUaaS는 업스테이지, 수퍼톤, 베슬AI 같은 기업들이 쓰는 중이고, 민간의 최신 AI 모델을 정부 내부망에 구축하는 '범정부 초거대 AI 공통기반 사업'에도 적용되고 있다.
삼성SDS는 올해 3분기 별도 인프라 비용 없이 사용한 만큼만 비용을 지불하는 '서버리스 추론 서비스'를 출시할 계획이다. GPU 수급이 어려운 사업자는 이 서비스를 이용해 초기 투자 리스크를 줄일 수 있다. 이호준 삼성SDS 클라우드서비스사업부장(부사장)은 "자원 최적화와 에너지 절감 등 GPU 효율화 역량으로 대기업, 중견·중소, 공공 영역의 AI 전환을 적극 지원하겠다"고 말했다.
댓글
0