SCP 기반 엔비디아 최신 GPU 도입… “고성능 AI 서비스 지연 최소화”
이미지:SDS
삼성SDS가 국내 최초로 차세대 GPU 기반 클라우드 서비스를 선보이며 기업용 인공지능(AI) 인프라 시장 공략에 나섰다.
삼성SDS는 23일 자사 클라우드 서비스인 ‘SCP(삼성 클라우드 플랫폼)’을 통해 엔비디아의 최신 GPU ‘B300(Blackwell Ultra)’ 기반 GPU 구독형 서비스(GPUaaS)를 출시했다고 밝혔다.
이번 ‘SCP B300 GPUaaS’ 출시는 기업들이 AI 모델 개발 단계를 넘어 실제 서비스에 적용하는 ‘AI 추론’ 단계로 빠르게 전환됨에 따라, 급증하는 고성능 컴퓨팅 수요에 대응하기 위한 전략이다.
B300 GPU는 12단 고대역폭 메모리(HBM3E)를 탑재해 GPU당 288GB의 메모리 용량과 초당 8TB의 대역폭을 제공한다. 이는 기존 H100 대비 메모리 용량은 3.6배, 대역폭은 2.4배 향상된 수준으로, 복잡한 연산이 요구되는 AI 추론 환경에서 성능을 크게 끌어올렸다.
특히 대형언어모델(LLM) 실행 시 발생하는 데이터 병목 현상을 개선한 것이 특징이다. 기존에는 GPU의 연산 속도 대비 메모리 데이터 전송 속도가 상대적으로 느려 전체 성능이 제한되는 문제가 있었지만, B300은 이를 획기적으로 완화했다.
삼성SDS는 2021년 A100, 2023년 H100 기반 GPUaaS를 선제적으로 도입하며 클라우드 기반 GPU 인프라 생태계를 구축해왔다. 이번 B300 GPUaaS를 통해 고객은 고용량 메모리를 기반으로 대규모 AI 모델을 효율적으로 처리할 수 있으며, AI 에이전트, 이미지·영상·코드 생성 및 분석 등 고성능이 요구되는 서비스의 지연 시간을 최소화할 수 있다.
또한 구독형 모델을 적용해 필요한 만큼만 사용하고 비용을 지불할 수 있어 초기 투자 부담을 낮추고 비용 효율성을 높일 수 있다. GPU 수급이 어려운 상황에서도 최신 아키텍처를 즉시 활용할 수 있다는 점도 강점이다.
삼성SDS는 AI 서비스 고도화를 위해 추가 서비스도 준비 중이다. 올해 3분기에는 사용한 토큰량만큼 비용을 지불하는 ‘서버리스(Serverless) 추론 서비스’와, 코드와 데이터를 입력하면 AI를 자동으로 분산 학습시키는 ‘AI 학습 서비스’를 출시할 계획이다. 이를 통해 기업 고객이 보다 손쉽게 AI를 도입하고 운영할 수 있는 환경을 제공한다는 전략이다.
이호준 삼성SDS 클라우드서비스사업부장(부사장)은 “SCP의 자원 최적화와 에너지 절감 등 GPU 효율화 역량을 바탕으로, 대기업은 물론 중견·중소기업과 공공기관까지 AI 도입을 지원할 것”이라며 “국내 최초 B300 GPU 서비스를 통해 AX 전환을 적극 지원하겠다”고 밝혔다.
한편, 삼성SDS는 민관협력형(PPP) 클라우드 서비스 사업자로서 대구센터에 H100 기반 GPUaaS를 최초로 도입했으며, 범정부 초거대 AI 공통기반 구현, 지능형 업무관리 플랫폼 구축 등 다양한 정부 AI 사업을 수행하고 있다. 또한 과학기술정보통신부 주관 고성능 컴퓨팅 지원사업 수행 CSP(클라우드 서비스 제공사)로서 60여 개의 AI 관련 중소기업, 스타트업, 연구 기관, 대학교 등에 GPU를 공급하는 등 다양한 고객을 대상으로 GPUaaS를 제공하고 있다.
댓글
0