[피지컬 AI와 서버①]AI 추론 서버, 온실을 나와 혹독한 현장으로

화면 밖으로 나온 AI, 피지컬 AI(Physical AI)의 시대다. 로봇이 물류 창고와 공장 생산라인을 누비고 자율주행 차량은 실시간으로 주변 환경을 판단한다.

가트너는 피지컬 AI를 '△감지(Sense) △판단(Decide) △행동(Act)하는 기계와 장치에 지능을 부여하는 것'으로 정의하며 2026년의 전략 기술 중 하나로 선정했다('Top Strategic Technology Trends for 2026' 보고서, 2025년 10월 발표). 또 자동화와 적응력, 안전이 특히 중요한 산업에 피지컬 AI가 측정 가능한 효율성 향상을 가져다줄 것으로 전망했다.

피지컬 AI 인프라의 선봉에 선 온디바이스 AI 뒤로 서버 시장 또한 분주하다. 피지컬 AI는 제조 현장의 운영기술(OT)과 IT 그리고 엔지니어링이 교차하는 영역으로, 산업용 솔루션 업체들, 컴퓨팅 솔루션 업체들이 기존에는 구분돼 있던 서로의 영역을 차지하기 위해 손을 뻗고 있다. 서버 업계도 마찬가지다.

물론 기존에도 슈나이더 일렉트릭, 버티브 등과 같은 산업용 장비 업체들이 마이크로데이터센터(모듈러 데이터센터) 솔루션을 제안하고 있지만, 통상 서버 업체들과 협력해 제공했다. 그러나 피지컬 AI와 함께 현장에 설치되는 에지 AI 서버가 필요해지면서 어드밴텍 등 기존 산업용 컴퓨팅 장비 업체와 범용 서버 업체가 한 곳에서 만나고 있다.

가트너는 2026년 전략 기술 트렌드 10가지 중 하나로 피지컬 AI를 선정했다. (자료 출처=가트너)

피지컬 AI에서 기회를 노리는 서버 업계는 크게 두 가지로 나뉜다. 하나는 현장의 실시간성 추론 서버, 다른 하나는 기기들로부터 습득한 데이터를 기반으로 모델의 재학습, 강화학습을 담당하는 HPC(고성능 컴퓨팅) 서버다. 이는 수백 ms초 내 클라우드 서버의 응답도 기다리기 어려운 실시간성, 민감한 산업 데이터를 외부 클라우드로 보낼 수 없는 데이터 주권 요구를 두 축으로 한다.

◇글로벌 에지 비용 지출에서 AI가 최대 비중 차지

IDC가 지난달 발표한 에지 비용 지출 보고서('Worldwide Edge Spending Guide')에 따르면 지난해 에지 관련 전 세계 비용 지출은 2650억달러에 달하며, IDC는 가장 빠르게 성장하는 에지 분야 중 하나로 AI를 꼽고 있다. 이 보고서는 △AI △IoT △AR △VR △드론 △로봇공학 등 6개 도메인으로 나누고 1000여 대기업 사용 사례를 기반으로 하고 있다.

이는 에지에서 직접 데이터를 처리하고 복잡한 모델을 실행해야 할 필요성이 증가하고 있음을 반영한다는 게 IDC의 설명이다. 기업이 실시간성(저지연성) 추론, 실시간 컨텍스트, 탄력적인 분산 아키텍처를 필요로 하는 AI 기반 애플리케이션을 더 많이 배포함에 따라 에지 컴퓨팅이 산업 전반에 걸쳐 혁신과 가치 창출을 가능하게 하는 동력이 되고 있다고 덧붙였다.

또 기업들은 고급 AI 워크로드를 지원할 수 있는, 더욱 무거운 에지 아키텍처(heavier edge architectures)를 현장에 배포하고 있는데, 이는 데이터가 생성되는 시점에서의 실시간 컴퓨팅이 필요하기 때문이라고 전했다.

IDC는 지난해 전 세계 에지 컴퓨팅 관련 비용 지출 규모가 265억달러인 것으로 추정했다. (자료 출처=IDC Worldwide Edge Spending Guide)

이 보고서에 따르면 산업 부문별로는 유통과 서비스 업계가 가장 많은 비용을 지출하고, 제조·자원(Manufacturing&Resources) 업계가 뒤따른다. IDC는 제조·자원 업종이 AI 기반 품질 관리, 예지보전(predictive maintenance), 자율 물류처리(Autonomous Material Handling, 자율주행 운반 차량 혹은 자율주행 로봇 등) 등에서 실시간 에지 프로세싱에 크게 의존하고 있다고 설명하고 있다.

즉 제조 산업은 피지컬 AI로 인해 현장에서의 실시간 프로세싱, 에지 추론 서버를 요구하고 있으며 이를 위한 비용을 지속적으로 지출한다는 뜻이다. 피지컬 AI의 핵심이 로보틱스와 실물 세계와의 상호작용인 만큼 국내 반도체·전자제조·자동차 산업에서도 피지컬 AI가 점차 현실화되고 있으며, 특히 제조 현장과 군사 에지 환경에서는 실시간 저지연 추론과 강화학습이 필수라는 게 김성민 슈퍼마이크로컴퓨터코리아 FAE(Field Application Engineer)&비즈니스 개발 부문 상무의 전언이다.

이달 초 발표된 포춘 비즈니스 인사이트 보고서('Edge AI Market Size, Share & Industry Analysis and Regional Forecast, 2026-2034')에서는 글로벌 에지 AI 시장 규모가 2025년 358억달러였으며 올해 약 476억달러에 이를 것으로 보고 있다. 또 2034년경까지 29.9%의 연간평균성장률(CAGR)을 보이며 3859억달러(약 578조원) 규모가 될 것으로 전망했다.

포춘 비즈니스 인사이트는 전 세계 에지 AI 시장 규모가 2034년까지 연평균 29.9% 성장할 것으로 전망했다. (자료 출처=포춘 비즈니스 인사이트)

피지컬 AI는 세 가지 이유로 에지 추론 서버 수요를 창출한다. 첫째 물리적 반응 속도를 보장하는 초저지연성, 둘째 외부 네트워크 없이도 작동하는 오프라인 안정성, 셋째 기밀 데이터가 현장 밖으로 나가지 않는 데이터 주권 확보다.

우선 속도는 현장에 AI 추론 서버를 두는 가장 큰 이유다.

피지컬 AI의 본질적인 특성은 '물리 세계의 속도'에서 판단한다는 점이다. 컨베이어 벨트 위의 불량품을 가려내는 비전 AI, 협동 로봇(코봇)이 사람의 접근을 감지하고 정지하는 안전 시스템, 자율주행 차량이 급정거 상황을 판단하는 로직 등 이 모든 시나리오에서 단 수백 밀리초(ms)의 지연이 곧 불량품 통과, 충돌 사고, 인명 피해로 이어질 수 있다.

◇피지컬 AI는 왜 에지 추론 서버를 요구할까

IDC는 에지 컴퓨팅이 "데이터 생성 소스 가까이에서 데이터를 처리함으로써 빠른 의사결정, 보안 향상, 비용 절감을 가능하게 한다"고 전한다. 이는 AI 추론, 영상 분석, 예측 정비, 자율 시스템처럼 실시간 응답성이 필요한 애플리케이션에서 특히 가치가 크다.

IDC가 지적한 바와 같이 데이터가 생성되는 시점에서의 실시간 프로세싱은 에지 AI 추론과 관련 인프라를 요구한다. 클라우드로 데이터를 보내고 응답을 기다리는 게 아니라 추론과 대응이 실시간으로 이뤄져야 하기 때문에 데이터가 생성되는 현장에 추론 서버가 필요하다.

그러나 클라우드 전송을 배제하는 이유가 지연만은 아니다. 방대한 데이터 전송과 그에 따른 비용, 무엇보다 보안과 데이터 주권 문제가 있다. 공장의 공정 레시피, 반도체 공정 기법, 방산 장비의 센서 데이터는 외부 클라우드로 나갈 수 없는 기밀 정보다.

가트너 소버린 AI 보고서('Gartner Predicts 2026: AI Sovereignty')에 따르면 AI 주권 확보를 위해서는 △지정학적 제약 내에서 △전체 AI 스택에 대한 의사결정 권한을 가져야 한다. 오픈소스 기업 캐노니컬Canonical)은 이 보고서를 인용하며 △온프레미스 배포 △에어갭 환경 △프라이빗 클라우드를 통해 AI 주권을 확립할 수 있다고 주장한다

컨설팅 기업 PWC는 피지컬 AI 전략의 핵심 요인 중 하나로 주권(Sovereignty)을 포함시키고 있다. (자료 출처=PWC)

온프레미스 배포는 자체 데이터센터에서 AI 워크로드를 실행함으로써 민감한 데이터가 조직 외부로 나가지 않고, 하드웨어와 소프트웨어, 거버넌스에 대해 완전한 결정권을 가지는 것, 에어갭 환경은 인터넷 연결 없이 완전히 격리된 네트워크에서 AI 시스템을 운영해 가장 엄격한 규제 또는 국가 보안 요구 사항을 충족하면서 중요한 데이터와 모델을 외부 위협으로부터 보호하기 위해 필요하다.

김성민 슈퍼마이크로컴퓨터코리아 상무는 "피지컬 AI를 포함한 모델 재학습·강화학습의 부상은 AI 도입이 진화하는 자연스러운 단계"라며 "AI 워크로드가 온프레미스 데이터센터, 프라이빗 클라우드, 에지 환경으로 확장되면서 인프라의 신뢰성과 설계 구조 또한 변화하고 있다"고 전제했다.

이어 "특히 민감한 데이터와 자체 보유 AI 모델을 활용하는 경우 데이터 처리 단계에서의 보안이 핵심 요건으로 부각되고 있으며, 이에 따라 하드웨어 기반 격리와 실행 환경 검증을 핵심으로 하는 컨피덴셜 컴퓨팅(Confidential Computing)이 확산되고 있다"고 말했다.

◇피지컬 AI용 추론 서버, 성능만큼 내구성 요구

피지컬 AI 환경의 AI 추론 서버에 요구되는 기술 요건은 일반 AI 추론 서버와 다르다. 현장에서는 서버에 필요한 안정된 온‧습도와 클린 환경을 제공할 수 없거나 설치 공간, 전력에 제약이 있을 수도 있다. 또 현장의 네트워크 환경은 불안정할 경우가 많다. 그러나 이러한 환경에서도 높은 연산 성능을 제공해야 한다.

AI 추론 서버는 CPU와 AI 가속기가 결합되는 구조다. 피지컬 AI 현장에서는 비전 인식, 센서 융합, 경우에 따라서는 경량화된 언어 모델까지 동시에 처리해야 하므로 GPU나 NPU와 같은 AI 가속기가 더욱 필수다.

비전 AI 업체 viAct가 정의하는 범용 AI와 피지컬 AI의 차이점. (자료 출처=viAct)

CPU는 센서 데이터 처리와 시스템 제어를 담당하고, 실제 AI 연산은 GPU나 NPU, AI ASIC 등 가속기가 수행한다. 현재까지는 범용성과 개발 생태계 측면에서 GPU가 가장 널리 사용되고 있으며, 필요에 따라 전력 효율이 높은 NPU가 보조적으로 활용된다. 여기에 충분한 메모리와 고속 저장장치, 그리고 다양한 센서를 연결하기 위한 네트워크 인터페이스가 함께 구성된다.

일반적인 현장 서버는 GPU 1~2장과 64~128GB 수준의 메모리를 갖추며, 보다 복잡한 환경에서는 GPU를 4장 이상 확장하기도 한다. GPU의 수와 성능, 메모리 용량, 그리고 전력 소비가 주요 결정 요소로 작용한다.

하지만 연산 성능보다 더 중요한 것은 지연 시간과 안정성이다. 네트워크 지연이 곧 사고로 이어질 수 있다. 이 때문에 풍부한 I/O와 저지연 인터커넥트가 요구된다. 카메라, 라이다(LiDAR), 힘·토크 센서, PLC(프로그래머블 로직 컨트롤러) 등 이기종 센서를 직접 수용하는 다양한 인터페이스(GigE, USB 3.x, RJ45, M12, PCIe 확장)가 필수다.

추론 결과는 수 밀리초 내에 로봇 제어기나 모션 컨트롤러에 전달돼야 한다. 센서로부터 데이터를 받아 판단하고 제어 신호를 내리기까지 수 밀리초 단위의 응답 속도를 유지해야 하며, 24시간 무중단 운영 가능한 신뢰성 또한 확보돼야 한다.

◇벽 밀착 등 제한된 공간에 설치 위해 전면부에 인터페이스, 냉각팬 등 적용

피지컬 AI를 지원하는 추론 서버는 서버 시스템 자체의 안정성뿐 아니라 먼지, 진동, 온도 변화와 같은 산업 환경에서 안정적으로 작동돼야 하므로 일반 데이터센터 장비보다 훨씬 높은 내구성이 요구된다. 이 때문에 군사용, 산업용 컴퓨팅 단말기에서 쓰이던 러기다이즈드(Ruggedized) 설계가 AI 서버에도 적용되는 중이다.

러기다이즈드 설계는 단순히 케이스가 두꺼운 것이 아니라 극한 상황을 견디도록 설계되는 것을 뜻한다. 영하 40도~영상 70도 사이의 급격한 온도 변화에도 작동돼야 하며, 이동 중인 차량, 항공기, 진동이 심한 공장 바닥에서도 부품이 이탈하거나 고장 나지 않도록 만든다.

또 먼지, 습기, 기름때가 내부 회로에 침투하지 못하도록 IP65 등급의 방수·방진 기능, 공장 등 현장 내 주변 기계 장치, 전자 장비에서 발생하는 전자파 간섭으로부터 데이터를 보호하기 위한 전자파 차폐(EMC) 기능 등이 필수다. 범용 AI 추론 서버와 달리, 피지컬 AI를 위한 추론 서버는 이러한 기능을 만족시켜야 한다.

숏뎁스 설계의 델 파워엣지XR 4000 시리즈. 델 서버 제품 중 가장 폭이 짧은 섀시를 적용했다.

러기다이즈드와 함께 숏뎁스 설계도 현장의 AI 서버에 적용되고 있다. 숏뎁스 설계는 일반 서버보다 앞뒤 길이가 짧아 공장의 좁은 벽면 함체(캐비닛)에 설치할 수 있게 해준다. 케이스 공간을 줄이면서도 GPU 등 AI 가속기를 탑재시킨 것이 저사양 중심의 기존 러기다이즈드 컴퓨팅 장비와의 차이점이기도 하다. 숏뎁스와 러기다이즈드 기반의 현장용 AI 서버는 별도의 쾌적한 서버실이 아닌, 야외 전신주, 터널 내부, 습한 제조 공정 바로 옆에 설치해도 안정적으로 운영된다.

델 테크놀로지스의 경우 델 파워엣지XR(Dell PowerEdge XR) 시리즈를 이러한 산업 환경용 에지 AI 서버로 제안하고 있다. 한국델은 이 제품이 열악한 현장 환경에 데이터센터 수준의 컴퓨팅 성능을 제공한다며 "견고하고 깊이가 얕아 설치 공간을 적게 차지하고 극한의 온도, 먼지, 진동을 견딜 수 있다"고 소개했다.

'인텔리전스의 힘을 가장 필요로 하는 곳에 가져오는 것'이 델의 에지 AI 비전으로, 한국델은 "하드웨어 관점에서는 먼지가 많은 창고, 비좁은 소매점 캐비닛 등 실제 현장에서 성능을 발휘하도록 견고성과 사전구성에 집중한다"고 전했다.

슈퍼마이크로에서는 슈퍼에지(SuperEdge) 시리즈가 해당된다. 공간이 극도로 제한된 에지 현장 전용으로 설계된 고밀도 서버군으로, 일반 서버의 절반 정도인 약 430mm 깊이로 설계돼 통신 단자함에도 설치 가능하며, 모든 케이블 연결과 유지보수를 서버 앞면에서 할 수 있는 전면 접근 방식(Front I/O)으로, 벽에 밀착해 설치할 수 있다. 또 단일 섀시 내 3개의 독립적인 시스템(노드)을 지원해 노드마다 각각 다른 AI 모델을 운용 가능하며, 한 노드가 고장 나도 나머지가 작동하는 고가용성을 제공한다.

2U 숏뎁스 설계의 슈퍼마이크컴퓨터의  H14 에지 AI 서버. 전면부에 I/O 인터페이스가 설치돼 있다.

슈퍼마이크로 슈퍼에지 시리즈와 경쟁하는 레노버 제품은 '씽크엣지(ThinkEdge) SE450, 455i'다. 2U 높이에 숏뎁스, 러기다이즈드 설계를 적용했다. 엔비디아 GPU를 최대 4개 탑재할 수 있으며 특히 충격, 진동, 고도, 습도 등 내구성에 대해서는 산업표준보다 엄격한 미 국방부 군사표준인증(MIL-STD-810H)을 적용한다. 이외에도 책 한 권 정도의 크기로 영하 20도~영상 60도까지 견디는 레노버 싱크에지 SE350과 SE360 V2가 있다.

레노버는 AI가 중앙집중형 환경에서 사람들의 생활 전반에 확장되는 과정 중 하나로 피지컬 AI를 바라본다. 윤석준 레노버 글로벌 테크놀로지 코리아(ISG) 부사장은 "레노버의 AI 전략은 기업 인프라는 물론 개인 디바이스에 이르기까지 클라우드, 에지, 엔드포인트 전반에 AI가 유기적으로 연동되는 '원 퍼스널 AI, 멀티플 디바이스(One Personal AI, Multiple Devices)’ 전략"이라고 소개했다.

◇에어컨 없는 현장을 위한 간 내 설치와 특화 냉각 기술 적용

피지컬 AI용 추론 서버에서는 전력 효율성이 더욱 중요해진다. 공장 설비나 이동체 환경에서는 많은 전력을 사용하는 고성능 GPU에 충분한 전력원이 제공되지 않을 수 있다.

또 공간 제약으로 발열 문제가 더욱 두드러진다. 발열이 해결되지 않으면 시스템 안정성 저하로 이어지기 때문에 GPU 발열을 감당할 수 있는 냉각 설계가 필요하다. 특히 먼지가 많은 공장 등에서는 냉각팬(Fan) 고장이 자주 발생함에 따라 이를 방지하기 위해 팬 사용을 최소화하거나 완전히 제거하는 설계도 적용되는데 이러한 밀폐 구조에서 발열을 해결해야 한다.

산업용 컴퓨팅 장비 업체인 어드밴텍은 피지컬 AI용 서버 시장에 적극 나서고 있다.

슈퍼마이크로는 데이터센터용 AI 추론 서버에 대해서는 CPU와 GPU에 직접 액체 냉각판을 붙여 발열을 즉시 해결하는 DLC(직접 액체냉각, Direct Liquid Cooling) 기술을 적용하지만, 에지용 AI 추론 서버 슈퍼에지 시리즈에는 '패키지화된 액체 냉각 솔루션'으로 피지컬 AI 현장의 공간적 한계와 열악한 환경을 지원한다.

슈퍼에지는 2U 크기에 3개의 독립 노드를 집어넣는 고밀도 구조상 서버 개별 유닛 내부에 복잡한 DLC 루프를 구성하기는 어렵다. 따라서 서버는 공랭식(Air Cooling) 구조로, 전면에 고성능 팬이 배치돼 차가운 공기를 흡입, 서버 내부 CPU와 GPU를 식힌다. 여기에 별도의 외부 배관 공사 없이 랙 내부에서 발열을 해결하는 랙내 냉각(In-Rack Cooling)과 CDU(냉각분배장치) 소형화에 기반을 둔 에지 전용 액체 냉각(Edge-Specific Liquid Cooling)으로 더한다.

슈퍼에지의 랙내 냉각 방식인 RDHx(Rear Door Heat Exchanger)는 랙의 뒷문(Rear Door)에 액체 냉각 코일(Heat Exchanger)을 장착해 열을 식히는 기술이다. 서버 내부의 팬이 랙 뒤쪽으로 뜨거운 공기를 뿜어내고, 이 뜨거운 공기는 랙 뒷문에 촘촘하게 박힌 차가운 액체 코일을 통과하면서 차가운 상태로 배출된다.

일반 서버는 열기를 배출하기 때문에 서버실 내 항온항습기(에어컨)이 필수지만 RDHx는 랙 안에서 열을 식히기 때문에 별도 냉각 설비가 없는 일반 공장이나 창고에 두어도 서버는 물론, 실내 온도를 상승시키지 않는다. 서버를 탑재한 랙 자체가 냉각기 역할을 하고, 서버 내부를 개조할 필요가 없다는 장점이 있다. 이와 함께 에지 환경에 맞게 소형화된 CDU를 통해 서버 한두 대 수준의 작은 단위에서도 정밀한 액체 냉각이 가능해진다.

데이터센터용인 레노버 씽크시스템 SD665는 온수 냉각 기술 넵튠이 적용된다. 사진 오른쪽이 시스템 뒷면.

레노버는 데이터센터용 대형 서버에 '넵튠(Neptune)’이란 액체 냉각 기술을 개발, 적용하고 있다. 45~50도의 온수 냉각이 특징으로, 실외기나 냉각 설비 없이 작은 펌프와 배관만으로 공간 제약을 극복한다. 그러나 에지용 AI 서버에 대해서는 팬리스(Fanless) 패시브 냉각 기술과 (SE10, SE70 등), 고온 내성 액티브 공랭 기술(SE450, SE455i 등)을 적용하고 있다.

팬리스 설계는 서버 내부에 냉각팬을 제거하고 대신 서버의 알루미늄 외장 케이스 전체를 거대한 히트싱크(방열판)로 설계한다. 먼지나 기름때가 내부로 유입되지 않아 고장 발생을 현격히 낮추며, 소음 또한 거의 발생하지 않아 작업자가 상주하는 공간에도 적절하다. 데이터 수집이나 가벼운 AI 추론을 담당하는 소형 에지 AI 서버에 쓰인다.

고온 내성 액티브 공랭 기술은 고성능 비전 AI 등 GPU가 필요한 서버, 씽크엣지 SE450/SE455 시리즈에 적용되고 있다. 일반 서버보다 훨씬 강력한 고풍량 팬을 사용하며, 공기 흐름(Airflow) 경로를 GPU와 CPU에 집중되도록 설계한 것이다.

델은 에지 전용 서버라인(파워엣지 XR4000, XR5610, XR7620 등) 역시 공랭식에 기반을 둔다. 델은 에지의 핵심을 '무관리(Zero-maintenance)'에 두고 있는데, 액체 냉각은 누수 위험과 관리 인력이 필요하기 때문이다.

대신 델은 서버 내부 부품 배치를 최적화한 스마트 흐름(Smart Flow) 설계로, 공기가 정체되는 구간 없이 CPU와 GPU를 최단 거리로 통과하도록 했다. 이에 따라 냉각팬의 구동 속도는 낮추고 냉각 효율성은 높일 수 있다.

특히 하나의 팬 모듈 안에 2개의 팬이 반대 방향으로 회전하는 구조다. 먼지 많은 환경에서도 공기를 밀어넣을 수 있으며, 팬의 이중화 효과로 팬이 하나 고장나도 다른 하나가 계속 자동돼 안정성을 좀더 강화할 수 있다.

또 iDRAC(Integrated Dell Remote Access Controller)에 의한 지능형 열 관리를 지원한다. 수백 개의 센서가 내부 온도를 실시간 감시하며, 특정 부품이 뜨거워지면 해당 구역의 팬만 정밀하게 제어해 전력 소모와 소음을 줄여준다. 레노버는 XCC(XClarity Controller), 슈퍼마이크로는 BMC(Baseboard Management Controller)로 이 기능을 제공하고 있다.

피지컬 AI를 위한 에지 AI 추론 서버 도입 시 체크리스트. (자료 출처=디일렉)

피지컬 AI 현장의 네트워크는 불안정한 경우가 많다. 여기에 AI 모델을 실제 환경에 맞게 최적화하고, 로봇이나 설비 제어 시스템과 통합하는 과정 역시 높은 기술적 난도를 요구한다.

이러한 문제를 극복하기 위해 다양한 기술적 접근이 시도되고 있다. 모델 경량화 기술을 통해 모델의 크기와 연산량을 줄이면서도 성능을 유지하고, 디바이스–에지–클라우드로 이어지는 분산 추론 구조를 통해 각 계층이 역할을 나누는 방식도 활용된다. 또 필요할 때만 연산을 수행하는 이벤트 기반 처리 방식도 주목받고 있다.

가트너는 새로운 수준의 성능과 효율성, 혁신과 함께 복잡한 워크로드 조율을 위해 CPU(범용 연산), GPU(병렬 연산), AI ASIC(추론 전용 칩, 구글 TPU, AWS 트레니엄 등), 뉴로모픽 칩(Neuromorphic chip, 인간의 뇌 신경망 모방 연산 칩) 그리고 여타 컴퓨팅 패러다임을 통합한 AI 슈퍼컴퓨팅 플랫폼이 구현되고 있으며, 선도 기업들은 핵심 비즈니스 워크플로에서 이러한 하이브리드 컴퓨팅 아키텍처를 적용할 것으로 전망하고 있다. 현 8% 보급 수준에서 2028년이면 40% 이상 증가할 것으로 분석했다.

피지컬 AI를 구현하고 AI 추론 서버를 도입할 계획이라면 CIO(최고정보책임자)는 제안요청서를 보낼 대상 업체를 전략적으로 선정해야 한다. 크게 글로벌 범용 서버 기업, 산업용 에지 서버 특화 기업, 그리고 AI 인프라 특화 기업 등 성격에 따라 구분해 접근할 필요가 있다. 이는 서로 다른 역할과 강점을 검증하기 위한 것이다.

피지컬 AI를 위한 에지 AI 추론 서버 도입 시 선택할 수 있는 서버 업체 유형. CIO는 세 유형을 병행 검토해 성능·안정성·현장 적합성의 균형을 확보해야 한다. (자료 출처=디일렉)

먼저 글로벌 범용 서버 기업들은 기본적인 기준선 확보를 위한 대상이다. 이들은 GPU 기반 서버 설계 경험과 안정적인 공급망, 그리고 검증된 기술지원 체계를 갖추고 있어 초기 아키텍처를 설계하는 데 유리하다. 다양한 산업군에서의 구축 사례 또한 보유하고 있기 때문에 성능과 안정성 측면에서 신뢰할 수 있는 비교 기준을 제공한다. 따라서 이들 업체는 전체 인프라 설계의 출발점이 된다.

어드밴텍(Advantech)과 같은 산업용 서버 특화 기업들은 실제 현장 적용 가능성을 검증하는 역할을 한다. 제조 현장은 먼지, 진동, 온도 변화 등 일반적인 데이터센터 환경과는 전혀 다른 조건을 가지기 때문에, 이러한 환경에서도 안정적으로 동작할 수 있는 하드웨어 설계가 필수다. 이들 기업은 방진·내열 설계와 저전력 구조, 그리고 다양한 산업용 인터페이스 지원에 강점을 가지고 있으며, 실제 운영 환경에서 발생할 수 있는 문제를 미리 살펴볼 수 있다.

마지막으로 AI 어플라이언스 등 AI 인프라 특화 기업들은 성능과 확장성 측면에서 검토해볼 수 있다. 이들은 최신 GPU 아키텍처를 빠르게 반영하고 고밀도 AI 서버 구성을 제공할 수 있어 향후 워크로드 증가나 모델 고도화 대응 시 장점이 있다.

CIO는 이러한 세 가지 유형의 서버 제공업체들을 병행 검토함으로써 성능과 안정성, 그리고 현장 적합성 사이의 균형을 확보하는 데 도움을 받을 수 있다.

박현선 전문기자