[서버 시장②] 추론·엣지로 전선 확대 ··· 랙스케일 통합 기반 인프...

베라 루빈 및 수냉식 솔루션으로 풀스택 경쟁 ··· 하드웨어 판매 넘어 ‘인텔리전스’ 플랫폼으로 도약

학습 클러스터 넘어 실시간 추론 인프라 시대 개막

K-AIDC 전력·냉각 혁신 가속화

[데이터넷] 데이터센터는 더 이상 고정된 하드웨어 집합이 아닌 소프트웨어로 조합되고 액체로 냉각되며 CXL 패브릭으로 연결되는 유기적 인프라로 진화하고 있다. 학습에서 추론으로 AI 워크로드의 무게중심이 이동하는 가운데, 기업의 서버 전략도 성능 경쟁을 넘어 전력 효율, 메모리 확장성, 냉각 효율, 자원 활용률, 지속가능성을 동시에 고려하는 방향으로 재편되고 있다. <편집자>

델 테크놀로지스는 차세대 AI 서버 시장에서 엔비디아 베라 루빈(Vera Rubin) 기반 랙스케일 인프라를 앞세워 대규모 학습과 실시간 추론 수요를 동시에 겨냥하고 있다. 대표 제품인 ‘델 파워엣지 XE9812’는 엔비디아 베라 루빈 NVL72 플랫폼을 기반으로 하는 수랭식 서버로, 72개의 루빈 GPU와 36개의 베라 CPU를 하나의 NV링크도메인으로 통합한다. 이를 통해 약 3.6엑사플롭스의 성능과 75TB 규모의 일관된 GPU 메모리, 초당 260TB의 NV링크 대역폭을 제공하는 랙스케일 AI 슈퍼컴퓨터로 설계됐다.

델의 차세대 AI 서버 전략은 고성능 랙스케일 시스템에만 머물지 않는다. 파워엣지 XE9880L·XE9882L· XE9885L은 엔비디아 HGX 루빈 NVL8을 탑재한 수랭식 서버 제품군으로, 기존 데이터센터의 설치 공간과 전력 수준 안에서 AI 성능을 높이는 데 초점을 맞췄다. 이 제품군은 랙당 최대 144개의 루빈 GPU 구성을 지원하며, B200 GPU 대비 최대 5.5배 빠른 AI 모델 구동을 목표로 한다.

엔터프라이즈 범용 워크로드를 위한 서버 라인업도 AI 가속 방향으로 확장되고 있다. 델 파워엣지 R770· R7715·R7725는 엔비디아 RTX PRO 4500 블랙웰 서버 에디션 GPU 구성을 통해 기존 범용 인프라에 AI 가속 기능을 추가할 수 있도록 설계됐다. 또한 파워엣지 R9822·M9822는 엔비디아 베라 CPU를 적용해 AI, 분석, 시뮬레이션 등 대규모 엔터프라이즈 워크로드에 대한 선택지를 넓힌다.

델은 전력 관리 영역에서도 차별화를 시도하고 있다. ‘컨셉 아스트로(Concept Astro)’는 에이전틱 AI, 디지털 트윈, 운영 자동화 기술을 결합해 AI 워크로드의 에너지 사용량, 전력 비용, 탄소 배출 정보를 실시간으로 파악하고 데이터센터 운영 의사결정을 지원하는 접근이다. 델 AI옵스(Dell AIOps)와 AI옵스 어시스턴트(AIOps Assistant)를 기반으로 텔레메트리를 수집하고, 디지털 트윈을 통해 워크로드와 자원 사용을 시뮬레이션함으로써 전력·용량 계획의 불확실성을 낮추는 것이 핵심이다.

결국 델의 서버 전략은 단순한 GPU 탑재 경쟁이 아니라, 베라 루빈 기반 랙스케일 AI 슈퍼컴퓨터부터 범용 엔터프라이즈 서버의 AI 가속, 전력·탄소 최적화 운영까지 포괄하는 풀스택 인프라 전략에 가깝다. AI 데이터센터 경쟁이 성능뿐 아니라 전력 효율, 운영 자동화, 탄소 관리 역량까지 요구하는 방향으로 이동하면서, 델은 하드웨어와 운영 인텔리전스를 결합한 차세대 AI 인프라 시장을 정조준하고 있다.

델 파워엣지 XE9880L

추론·랙스케일 AI 서버 경쟁 가속

AI 서버 시장의 경쟁 구도는 엔터프라이즈 AI 팩토리 전략을 넘어, 추론 최적화 서버와 랙스케일 AI 인프라를 앞세운 벤더들의 공세로 확장되고 있다.

학습 중심의 초기 AI 인프라 투자가 실제 서비스 운영을 위한 추론 단계로 이동하면서, 서버 벤더들은 GPU 집적도뿐 아니라 배포 속도, 전력 효율, 엣지 대응력, 서비스형 인프라 모델까지 포괄하는 전략을 내놓고 있다.

레노버는 2026년 1월 ‘레노버 하이브리드 AI 어드밴티지(Lenovo Hybrid AI Advantage)’ 포트폴리오를 확장하며 AI 추론 서버 라인업을 강화했다. 레노버가 새롭게 선보인 씽크시스템 SR675i, 씽크시스템 SR650i, 씽크엣지 SE455i는 클라우드, 데이터센터, 엣지 전반에 분산된 데이터를 실시간 인사이트로 전환하는 데 초점을 맞춘 추론 최적화 서버다.

레노버는 이 포트폴리오를 통해 리테일, 제조, 헬스케어, 금융 서비스 등 실제 업무 현장에서 AI 추론을 가속화한다는 전략이다.

씽크시스템 SR675i는 대규모 확장성을 바탕으로 LLM을 다양한 환경에서 구동할 수 있도록 설계된 고성능 AI 추론 서버다. 제조, 중증 헬스케어, 금융 서비스 환경에서 대규모 워크로드 처리와 가속 시뮬레이션을 지원한다.

씽크시스템 SR650i는 고밀도 GPU 컴퓨팅 기반의 가속 AI 추론 성능을 제공하며, 기존 데이터센터 환경에서 비교적 손쉽게 구축·확장할 수 있도록 설계됐다. 씽크엣지 SE455i는 리테일, 통신, 산업 현장을 겨냥한 소형 폼팩터 엣지 서버로, 데이터가 생성되는 위치에서 초저지연 AI 추론을 구현하고 -5°C부터 55°C까지의 온도 범위에서도 작동하는 견고성을 제공한다.

레노버 전략의 핵심은 ‘하이브리드 AI 팩토리’에 있다. 레노버는 AI 추론 서버를 스토리지, 네트워킹, 소프트웨어, 오케스트레이션과 결합해 인프라·데이터·관리 영역을 하나의 시스템으로 연결한다. 여기에 씽크애자일 HX 및 뉴타닉스 기반 추론, 레드햇 AI 기반 추론, 캐노니컬 우분투 프로 기반 추론 등 사전 검증된 스택을 결합해 기업이 가상화 환경, 엔터프라이즈 AI 플랫폼, 비용 효율형 도입 모델 중 선택할 수 있도록 했다.

레노버의 이러한 행보는 AI 서버 경쟁이 대규모 학습 클러스터를 넘어, 데이터센터와 엣지를 아우르는 실시간 추론 인프라로 확대되고 있음을 보여준다. AI 서버 시장의 승부는 이제 GPU 탑재 수를 넘어, 추론 워크로드를 얼마나 빠르게 현장에 배치하고 랙 단위 인프라를 얼마나 안정적으로 운영할 수 있느냐로 이동하고 있다.

공급 역량으로 엔터프라이즈 AI 팩토리 공략

슈퍼마이크로는 랙스케일 AI 인프라와 빠른 공급 역량을 앞세워 하이퍼스케일러와 엔터프라이즈 AI 팩토리 시장을 공략하고 있다. 특히 엔비디아와의 협력을 통해 차세대 ‘엔비디아 베라 루빈 NVL72’ 및 ‘엔비디아 HGX 루빈 NVL8’ 기반 수냉식 AI 인프라 솔루션을 신속히 제공할 수 있도록 제조 역량과 냉각 기술을 확대하고 있다.

슈퍼마이크로는 DCBBS(Data Center Building Block Solutions) 기반의 모듈형 설계 접근법을 통해 생산을 간소화하고, 다양한 구성 옵션과 빠른 구축을 지원해 차세대 AI 인프라 도입 속도를 단축한다는 전략이다.

슈퍼마이크로의 베라 루빈 NVL72 슈퍼클러스터는 72개의 엔비디아 루빈 GPU와 36개의 엔비디아 베라 CPU를 하나의 랙스케일 솔루션으로 통합한 플래그십 AI 인프라다.

엔비디아 NV링크 6 기반 고속 인터커넥트와 커넥트X-9 슈퍼 NIC, 블루필드-4 DPU를 통해 GPU 간, CPU-GPU 간 고속 통신을 지원하며, 퀀텀-X800 인피니밴드와 스펙트럼-X 이더넷을 통해 대규모 클러스터 확장도 가능하다.

이 솔루션은 NVFP4 기준 최대 3.6엑사플롭스(ExaFLOPS)의 AI 연산 성능, 초당 1.4PB의 HBM4 메모리 대역폭, 75TB의 고속 메모리를 제공하며, 3세대 엔비디아 MGX 랙 아키텍처와 인로우 CDU 기반 수냉식 냉각을 적용해 고집적 AI 인프라의 에너지 효율과 유지보수성을 높인다.

또한 2U 수냉식 HGX 루빈 NVL8 솔루션은 AI 및 HPC 워크로드에 최적화된 8-GPU 기반 컴팩트 시스템으로, NVFP4 기준 최대 400페타플롭스의 연산 성능과 176TB/s의 HBM4 메모리 대역폭, 28.8TB/s의 NV링크 대역폭을 제공한다. 차세대 인텔 제온 또는 AMD EPYC 프로세서를 지원하는 x86 기반 구성 옵션도 제공해, 대규모 랙스케일 AI 인프라뿐 아니라 고밀도 2U 서버 기반 AI·HPC 워크로드까지 폭넓게 대응한다.

슈퍼마이크로의 강점은 서버 단품이 아니라 GPU 서버, 스토리지, 네트워크, 전력, 냉각, 랙 통합을 빌딩 블록처럼 조합하는 데이터센터 단위 구축 역량에 있다. 확장된 제조 시설과 엔드투엔드 수냉식 기술 스택에 투자해 베라 루빈 및 루빈 플랫폼 기반 AI 인프라의 생산과 구축을 가속하고 있으며, 이를 통해 고집적 AI 인프라의 구축 기간과 가동 시점을 단축한다는 방침이다.

고속 연결성 확보로 AI 서버 가동

AI 서버가 많아질수록 서버 간 연결도 중요하다. 대규모 AI 학습과 분산 추론은 하나의 서버 안에서 끝나지 않는다. 수백, 수천 개의 GPU와 가속기가 하나의 클러스터처럼 움직여야 한다. 이때 네트워크 지연과 대역폭 부족은 전체 성능을 떨어뜨리는 병목 원인이다.

HPE는 대규모 AI 클러스터를 위해 엔비디아 퀀텀-X800 인피니밴드 기반의 고속 연결성을 강조한다. 해당 구성은 포트당 800Gb/s 연결성과 144개 포트, 저전력 링크 상태 및 전력 프로파일링 기능을 통해 고성능과 에너지 효율을 동시에 겨냥한다.

또한 HPE AI 그리드를 통해 지리적으로 분산된 AI 팩토리와 추론 클러스터를 하나의 지능형 시스템으로 연결한다는 전략을 제시하고 있다.

이처럼 AI 인프라의 성능은 개별 서버 사양만으로 결정되지 않는다. CPU, GPU, 메모리, 스토리지, 네트워크, 냉각이 하나의 시스템으로 최적화될 때 비로소 실질적인 처리량과 비용 효율이 나온다.

엣지 서버로 실시간성 확보

AI 인프라의 또 다른 방향은 엣지로의 확산이다. 모든 데이터를 중앙 클라우드로 보내 처리하는 방식은 지연시간, 네트워크 비용, 보안 측면에서 한계가 있다. 스마트팩토리, 항만, 광산, 국방, 교통, 에너지 설비처럼 데이터가 현장에서 발생하고 즉각적인 판단이 필요한 환경에서는 엣지 서버가 필수적이다.

엣지 서버는 중앙 데이터센터와 달리 온도, 습도, 진동, 먼지, 충격 등 통제하기 어려운 환경에서도 안정적으로 작동해야 하며, 경우에 따라 미 국방성 표준(MIL-STD)과 같은 고내구성 기준을 충족해야 한다.

러기드 서버는 항만, 광산, 군사 작전 지역 등 온도 조절이 어렵고 진동이 심한 환경에서 활용된다. 영하 40도에서 영상 70도 수준의 극한 조건을 견디는 내구성, 팬리스 구조, 방진·방수 설계, 저지연 네트워크 연결성 등이 핵심 요건이다. 엣지 AI의 확산은 데이터센터 중심의 대규모 학습 클러스터와 현장 중심의 저지연 추론 서버가 함께 운영되는 구조를 앞당기고 있다.

데이터센터와 AI 반도체 자립화가 성장 견인

국내 서버 시장도 AI와 클라우드 전환의 영향을 받고 있다. 공공 클라우드 전환, 금융권 망분리 완화 논의, 제조·통신·공공 분야의 AI 도입, AI 반도체 자립화 전략이 맞물리며 데이터센터 서버 수요는 꾸준히 확대되고 있다.

한국 데이터센터 서버 시장은 클라우드 서비스 제공사, 통신사, 대기업 IT 서비스 기업의 인프라 확장에 힘입어 성장세를 이어가고 있다. 특히 GPUaaS, 프라이빗 클라우드, AI 플랫폼 인프라가 주요 투자 축으로 떠오르고 있다. 기업 고객은 더 이상 단순 서버 구매가 아니라 AI 모델 개발, 학습, 추론, 운영을 위한 통합 인프라를 요구하고 있다.

국내 데이터센터 시장에서는 전력 수급과 입지 문제도 핵심 변수다. 수도권 집중도가 높은 상황에서 전력망 부담이 커지고 있으며, 이에 따라 지방 분산형 데이터센터, 해수 냉각을 활용한 그린 데이터센터, 재생에너지 연계형 인프라에 대한 관심도 높아지고 있다.

KT클라우드는 국내 AI 인프라 수요 확대를 보여주는 대표 사례로, GPUaaS와 AI 데이터센터(AIDC)를 결합해 AI 학습·추론·모델 배포까지 통합 제공하는 방식으로 사업을 확장하고 있다. 고객이 고가의 GPU를 직접 구매하지 않고도 클라우드 인프라를 통해 필요한 만큼 활용하도록 지원함으로써, AI 인프라 도입 장벽을 낮추는 구조다.

특히 경북 예천에 국내 첫 민·관 협력형 AI 클라우드 데이터센터를 준공하고, 서울 가산에는 액체 냉각 방식의 하이퍼스케일 AI 데이터센터를 구축하는 등 AI 서버 수요에 대응하기 위한 인프라 확충도 병행하고 있다.

금융권 수요 대응도 빨라지고 있다. KT클라우드는 핀테크 기업을 대상으로 전용 인프라(F-Cloud)부터 고성능 GPUaaS까지 맞춤형 클라우드 환경을 제공하겠다는 방침이다. 이는 국내 서버 시장의 성장이 단순 데이터센터 증설을 넘어, 금융·공공·산업별 AI 워크로드를 수용하는 특화 인프라 경쟁으로 이동하고 있음을 보여준다.

아울러 삼성SDS를 비롯한 국내 IT 서비스 기업들은 클라우드와 GPUaaS 역량을 강화하며 AI 인프라 수요에 대응하고 있다. 향후 국내 서버 시장의 경쟁력은 하드웨어 납품 능력보다 클라우드 플랫폼, 보안, 네트워크, 운영 자동화, 전력 효율을 묶어 제공하는 역량에서 갈릴 전망이다.

하드웨어 판매에서 인프라 운영 전략으로 이동

서버 시장의 미래는 더 빠른 CPU나 더 많은 GPU를 장착한 장비 경쟁만으로 설명할 수 없다. AI 인프라 시대의 서버는 소프트웨어 정의, 메모리 패브릭, 액체 냉각, 이기종 컴퓨팅, 엣지 분산, 지속가능성까지 포괄하는 종합 아키텍처로 바뀌고 있다.

기업 입장에서 중요한 것은 단순히 최신 서버를 도입하는 것이 아니다. 어떤 워크로드를 어디에서 처리할지, 학습과 추론을 어떻게 분리할지, GPU와 NPU를 어떤 비율로 구성할지, CXL 기반 메모리 풀링을 언제 도입할지, 액체 냉각을 데이터센터 설계에 어떻게 반영할지를 종합적으로 판단해야 한다.

앞으로 데이터센터는 고정된 하드웨어 창고가 아니라, 소프트웨어에 의해 재구성되고 액체 냉각으로 효율화되며 CXL과 고속 네트워크로 연결되는 거대한 컴퓨팅 유기체에 가까워질 것이다. 이 변화의 핵심은 단일 장비의 성능이 아니라, 자원을 얼마나 유연하게 조합하고 효율적으로 운영하느냐다.

결국 차세대 서버 시장의 승자는 가장 강력한 단일 서버를 보유한 기업이 아니라, AI 워크로드의 특성을 정확히 이해하고 GPU·NPU·Arm CPU·CXL 메모리·고속 네트워크·액체 냉각을 하나의 인프라 전략으로 결합한 기업이 될 것이다. 비용과 성능, 지속가능성을 동시에 입증하는 기업이 데이터센터 경쟁의 주도권을 쥘 전망이다.

Tag