[서버 시장①] '고정된 하드웨어'에서 '유기적 인프라'로 ··· AI가 서버...

GPU·Arm·CXL·액체냉각 기반 복합 인프라 경쟁 가속화

이기종 컴퓨팅 확산으로 학습 넘어 추론 시장 정조준

클라우드 네이티브 워크로드 중심 Arm 서버 주목

[데이터넷] 데이터센터는 더 이상 고정된 하드웨어 집합이 아닌 소프트웨어로 조합되고 액체로 냉각되며 CXL 패브릭으로 연결되는 유기적 인프라로 진화하고 있다. 학습에서 추론으로 AI 워크로드의 무게중심이 이동하는 가운데, 기업의 서버 전략도 성능 경쟁을 넘어 전력 효율, 메모리 확장성, 냉각 효율, 자원 활용률, 지속가능성을 동시에 고려하는 방향으로 재편되고 있다. <편집자>

AI 인프라 투자가 전 세계 서버 시장의 판을 재편하고 있다. GPU 기반 가속 서버 수요가 폭증하면서 서버 시장은 역대급 성장 국면에 진입했다.

특히 생성형 AI와 대규모 LLM의 확산은 단순히 서버 판매량을 늘리는 데 그치지 않고, 데이터센터 아키텍처 자체를 근본적으로 바꾸고 있다. 과거 서버 시장이 CPU 성능과 랙 단위 집적도를 중심으로 성장했다면, 이제는 GPU·NPU·Arm CPU·CXL 메모리·고속 네트워크·액체 냉각이 결합된 복합 인프라 경쟁으로 이동하고 있다.

IDC에 따르면 2025년 글로벌 서버 시장 매출은 전년 대비 80.4% 증가한 4441억 달러를 기록했다. 2025년 4분기 단일 매출만 1253억 달러에 달하며, GPU가 탑재된 가속 서버가 전체 시장 성장을 주도하고 있다.

가트너(Gartner) 역시 2026년 전 세계 IT 지출이 AI 인프라 확장에 힘입어 13.5% 증가한 6조 3100억 달러에 이를 것으로 전망했다.

GPU 서버 비중 역시 빠르게 확대되고 있다. 시장조사기관들은 고가 8GPU 서버 수요 증가와 북미 CSP 투자 확대가 서버 시장의 매출 구조를 바꾸고 있다고 분석한다. 트렌드포스(TrendForce)는 북미 클라우드 서비스 제공업체(CSP)들의 지속적인 투자로 2026년 글로벌 AI 서버 출하량이 전년 대비 28% 이상 증가할 것으로 내다봤다.

특히 서버 시장의 지형 변화는 단순한 수요 증가보다 구조적이다. 하이퍼스케일러들이 자체 데이터센터에 최적화된 서버를 직접 설계하면서 ODM 다이렉트 비중이 빠르게 커지고 있으며, 전통 OEM 벤더 중심의 공급 구조도 재편되고 있다. IDC 자료에 따르면 2025년 3분기 서버 시장에서 ODM 다이렉트 비중은 59.4%까지 확대됐으며, 델·슈퍼마이크로·레노버·HPE 등 전통 OEM 벤더들도 AI 서버 포트폴리오를 강화하고 있다.

글로벌 서버 시장 상위 5개 기업 현황 / IDC

Arm·CXL 기반 아키텍처 진화 가속

서버 시장의 첫 번째 변화는 호스트 CPU 계층에서 나타난다. x86은 여전히 범용성과 소프트웨어 생태계 측면에서 강력한 지위를 유지하고 있지만, 하이퍼스케일러와 클라우드 네이티브 워크로드를 중심으로 Arm 기반 서버의 채택이 늘고 있다.

Arm 기반 CPU가 주목받는 이유는 전력 대비 성능과 비용 효율성이다. 클라우드 네이티브 환경은 수많은 인스턴스를 수평 확장하는 구조를 갖기 때문에, 단일 CPU의 절대 성능보다 랙당 처리량, 전력 효율, 운영비 절감 효과가 중요하다. AWS 그래비톤, 마이크로소프트 애저 코볼트, 구글 엑시온 같은 자체 설계 Arm CPU가 확산되는 배경이다.

유충근 한국HPE 상무는 “x86은 범용성이 뛰어난 반면, Arm은 특정 AI 워크로드나 클라우드 서비스에 최적화돼 있다”며 “특히 클라우드 네이티브로 설계된 스케일아웃 방식의 현대적 워크로드에 적합하고, 고밀도 AI 인프라에서는 TCO 절감 효과도 기대할 수 있다”고 설명했다.

추론 시장에서는 NPU와 AI ASIC의 역할도 커지고 있다. 대규모 모델 학습에는 GPU가 여전히 핵심이지만, 실제 서비스 운영 단계에서는 수많은 사용자 요청을 낮은 지연시간과 낮은 비용으로 처리해야 한다. 이때 특정 행렬 연산과 추론 워크로드에 최적화된 NPU는 GPU 대비 전력 효율 측면에서 강점을 가질 수 있다.

CXL로 메모리 월 돌파

AI 서버 아키텍처의 두 번째 핵심 축은 CXL(Compute Express Link)이다. AI 모델이 커지고 데이터 처리량이 폭증하면서 CPU와 메모리 사이의 병목, 이른바 ‘메모리 월(Memory Wall)’이 데이터센터 성능을 제한하는 주요 요인으로 떠올랐다.

기존 서버 구조에서는 CPU와 메모리가 강하게 결합되어 있어, 특정 서버에 남는 메모리가 있어도 다른 서버가 이를 효율적으로 활용하기 어렵다. 이로 인해 데이터센터 전체 관점에서는 상당한 유휴 메모리가 발생하고, 기업은 실제 필요한 용량보다 더 많은 DRAM을 구매해야 했다. CXL은 이 문제를 해결하기 위해 CPU, 메모리, 가속기 사이를 저지연·고대역폭으로 연결하고, 메모리를 풀링·티어링해 자원 활용률을 높이는 기술이다.

CXL 2.0은 메모리 풀링과 스위칭을 지원하며, CXL 3.0은 서버 간 직접 메모리 공유를 가능하게 한다. CXL 4.0은 128GT/s 수준의 초고대역폭 패브릭을 목표로 한다. CXL은 메모리와 가속기를 프로세서 주변에서 유연하게 공유함으로써 메모리 병목을 완화하고 인프라 경제성을 높이는 기술로 주목받고 있다.

CXL의 핵심 가치는 단순한 메모리 확장이 아니라 인프라 경제성에 있다. CXL 메모리 풀링을 활용하면 서버별로 고립된 유휴 메모리를 공용 풀로 묶을 수 있고, 워크로드 특성에 따라 필요한 만큼 동적으로 할당할 수 있다. 이는 DRAM 과잉 도입을 줄이고, AI·분석·데이터베이스 워크로드의 총소유비용(TCO)을 낮추는 기반이 된다.

서버 물리적 경계 허무는 컴포저블 인프라

세 번째 변화는 컴포저블 분산 인프라(CDI)의 부상이다. 과거 서버는 CPU, 메모리, 스토리지, 네트워크가 하나의 물리 장비 안에 고정된 형태였다. 그러나 AI 워크로드는 학습, 추론, 전처리, 검색, 저장, 네트워크 전송 등 단계별로 요구하는 자원이 다르다. 고정된 서버 단위로는 자원 불균형과 사일로를 피하기 어렵다.

CDI는 CPU, GPU, 메모리, 스토리지를 각각 독립된 자원 풀로 분리하고, 소프트웨어를 통해 필요한 만큼 조합해 논리적 서버를 구성하는 방식이다. 이는 서버를 ‘구매한 장비’가 아니라 ‘필요할 때 조립하는 자원 조합’으로 바꾸는 접근이다.

이러한 접근법을 통해 AI 인프라 서버를 구축하는 과정에서 특정 하드웨어에 자원이 갇히는 문제를 줄이고, 대규모 GPU 자원을 동적으로 배분할 수 있다. 또한 랙스케일 컴퓨팅 환경에서 PCIe 패브릭과 같은 연결 구조를 통해 운영 효율을 높이고, 전력 소비 절감 효과도 기대할 수 있다고 제시한다.

이러한 변화는 클라우드 네이티브 아키텍처와도 연결된다. 컨테이너, 쿠버네티스, 마이크로서비스 중심의 애플리케이션 환경에서는 하드웨어가 고정된 단위로 존재하기보다, 소프트웨어 정책에 따라 자동 확장되고 재구성되는 것이 중요하다. 앞으로의 서버 인프라는 물리 장비의 성능보다 자원을 얼마나 빠르고 효율적으로 재조합할 수 있는지가 경쟁력이 된다.

AI 워크로드, 학습에서 추론으로 이동

서버 시장의 또 다른 변화는 AI 워크로드의 무게중심이 학습에서 추론으로 이동하고 있다는 점이다. 초기 생성형 AI 투자는 대규모 모델 학습을 위한 GPU 클러스터 구축에 집중됐지만, 기업들이 실제 서비스를 운영하기 시작하면서 추론 단계에서 더 큰 비용을 지불하고 있다. 수많은 사용자 요청을 실시간으로 처리해야 하기 때문이다.

이에 따라 차세대 데이터센터는 학습용 GPU 클러스터와 추론용 NPU·ASIC 서버가 공존하는 이기종 컴퓨팅 구조로 진화하고 있다. GPU는 대규모 병렬 연산과 학습에 강점을 갖지만, 반복적이고 특정 패턴이 뚜렷한 일부 추론 워크로드에서는 NPU나 전용 AI ASIC이 GPU 대비 더 높은 전력 효율을 제공할 수 있어, 추론 인프라의 대안으로 주목받고 있다.

이 변화는 서버 구매 전략에도 직접적인 영향을 미친다. 기업은 더 이상 모든 AI 워크로드를 고가 GPU로 처리하는 방식을 고집하기 어렵다. 학습, 파인튜닝, 검색증강생성(RAG), 실시간 추론, 엣지 분석 등 워크로드별로 GPU, NPU, CPU, 메모리, 네트워크 구성을 다르게 설계해야 한다.

고밀도 AI 데이터센터 위한 액체 냉각 부상

AI 서버 시장의 물리적인 병목은 전력과 열에서 발생한다. 최신 GPU와 AI 가속기는 랙당 전력 밀도를 전례없는 수준으로 끌어올리고 있다. 기존 공랭식 냉각은 전통적인 엔터프라이즈 서버 환경에서는 충분했지만, 랙당 100kW를 넘나드는 AI 인프라 시대에는 한계가 뚜렷하다.

이에 따라 고밀도 AI 서버 환경에서 액체 냉각은 핵심 설계 요건으로 부상하고 있다. 직접 수랭식(DTC)은 냉각수를 CPU와 GPU 위의 콜드플레이트로 직접 순환시켜 열을 제거한다. 액침 냉각은 서버 전체를 비전도성 냉각액에 담가 열을 흡수하는 방식이다. 공랭식 대비 높은 열전달 효율을 갖고 있어, 고밀도 AI 랙에서는 액체 냉각 없이는 집적도와 안정성을 동시에 확보하기 어렵다.

Arm·수냉식 아키텍처로 고밀도 AI 인프라 대응

HPE는 Arm 기반 서버와 x86 기반 범용 서버를 병행하는 멀티 아키텍처 전략을 취하고 있다. 최근에는 AI 데이터센터 전력 밀도 상승에 대응해 수냉식 인프라 설계를 강화하고 있다. Arm 기반 HPE 프로라이언트(ProLiant) RL300 젠(Gen)11은 클라우드 네이티브와 스케일아웃 워크로드에 초점을 맞춘 제품군으로, 전력 효율과 공간 활용도를 중시하는 서비스형 인프라 환경을 겨냥한다. 반면 x86 기반 프로라이언트 젠12는 전통적인 엔터프라이즈 애플리케이션과 AI 가속 워크로드를 함께 수용하는 범용 서버 라인업으로, 와트당 성능 개선과 운영 효율 향상을 주요 경쟁 요소로 내세우고 있다.

HPE는 CPU 아키텍처 선택지를 넓히는 동시에, 서버 도입 이후의 운영 효율까지 강조한다. 기업 입장에서는 단순 성능 경쟁보다 전력 비용, 랙 공간, 냉각 비용, 장기 유지보수 부담이 총소유비용(TCO)을 좌우하는 만큼, HPE는 전력 효율과 관리 편의성을 동시에 제공하는 방향으로 제품 전략을 전개하고 있다.

냉각 측면에서도 HPE는 수냉식 아키텍처를 차세대 AI 서버 설계의 핵심 축으로 보고 있다. HPE는 100% 팬리스 직접 수랭 방식 시스템 아키텍처를 공개했으며, GPU, CPU, 서버 블레이드, 로컬 스토리지, 네트워크 패브릭, 랙·캐비닛, 팟·클러스터, 냉각액분배장치(CDU) 등 8가지 요소를 처음부터 수냉 구조에 맞춰 설계했다고 설명한다. 이는 개별 서버에 냉각 장치를 덧붙이는 방식이 아니라, 데이터센터 단위에서 열 설계를 재편하는 쪽에 가깝다.

유충근 상무는 “AI 가속기의 전력 밀도가 급격히 높아지면서 냉각은 더 이상 사후 설계 요소가 아니라 서버 아키텍처의 핵심 축으로 통합되고 있다”며 “GPU, CPU, 서버 블레이드, 로컬 스토리지, 네트워크 패브릭, 랙·캐비닛, 냉각액분배장치까지 처음부터 수냉 방식으로 설계하는 구조적 전환이 필요하다”고 강조했다.

HPE의 전략은 결국 Arm과 x86을 병행하는 멀티 아키텍처 전략, 고밀도 AI 데이터센터를 위한 수냉식 인프라 전략으로 요약된다. AI 서버 시장의 경쟁이 단순 장비 판매를 넘어 전력 효율과 데이터센터 운영 최적화 경쟁으로 이동하면서, HPE는 엔터프라이즈 고객 기반과 인프라 통합 역량을 바탕으로 시장 대응 범위를 넓히고 있다.

Tag