[AI 경쟁 새 기준②] "메모리 구조 혁신"…삼성·SK, 반도체 효율성 경쟁...

HBM4, 이전 세대 대비 40% 전력 절감

동일한 연산을 더 적은 전력으로 처리

삼성전자·SK하이닉스, 메모리 주도권과 차세대 경쟁 나서

반도체 칩이 컴퓨터 안에 놓여 있다. 사진=  Semiconductor chips are seen on a circuit board of a computer in this illustration picture taken February 25, 2022. REUTERS/Florence Lo/Illustration/File Photo

[포인트데일리 권상희 기자]

생성형 인공지능(AI) 확산 이후 AI 산업 경쟁 방식이 빠르게 바뀌고 있다. 초기에는 더 큰 모델을 만들기 위한 연산 경쟁이 중심이었다면 지금은 같은 전력으로 얼마나 더 많은 연산을 처리할 수 있는지가 AI 인프라 경쟁력을 가르는 기준으로 떠오르고 있다. AI 시대 새로운 경쟁력으로 떠오른 '전력 대비 연산 효율'을 중심으로 AI 반도체와 데이터센터 인프라, 냉각 기술, 전력 인프라까지 AI 산업 경쟁 흐름을 살펴본다. [편집자]

AI 데이터센터 전력 부담이 급증하면서 반도체 경쟁의 중심이 연산 성능에서 전력 대비 효율로 이동하고 있다. '더 큰 모델'에서 '더 많은 연산'이 핵심이 된 셈이다. 특히 AI 연산 과정에서 소비되는 전력의 상당 부분이 데이터 이동에서 발생한다는 점이 부각되면서, 메모리 구조가 전력 효율을 결정짓는 핵심 요소로 떠오르고 있다. 이에 따라 삼성전자와 SK하이닉스 간 AI 메모리 경쟁도 단순 성능을 넘어 '와트당 연산' 중심으로 재편되는 모습이다.

20일 업계에 따르면 글로벌 빅테크 기업들은 AI 인프라 확대 과정에서 전력 효율을 최우선 고려 요소로 삼고 있다. AI 서버는 일반 서버 대비 수배 이상의 전력을 소모하며, 전력과 냉각이 데이터센터 운영 비용에서 차지하는 비중도 빠르게 커지고 있다. 이에 따라 반도체 업계는 같은 전력으로 더 많은 연산을 처리할 수 있는 구조 구현에 집중하고 있다.

AI 데이터센터에서 전력 절감이 중요한 이유는 구조적인 요인을 개선하기 위해서다. 거대언어모델(LLM)과 생성형 AI 서비스는 방대한 데이터를 반복적으로 읽고 처리해야 하는 방식으로 작동한다. 이 과정에서 연산 자체보다 데이터를 메모리에서 불러오고 이동시키는 과정이 더 많은 전력을 소모하는 경우가 많다. 서버 수가 늘어날수록 전력 공급과 냉각 설비 부담도 기하급수적으로 증가하기 때문에, 반도체 단계에서부터 전력 효율을 개선하지 않으면 전체 인프라 비용이 급격히 증가할 수밖에 없다.

HBM4 효율성 개선. 사진=삼성전자 반도체 뉴스룸

◇삼성·SK, HBM4로 전력 효율 경쟁 본격화

삼성전자와 SK하이닉스는 고대역폭메모리(HBM) 시장의 주도권을 잡고, 최신 제품인 HBM4를 중심으로 경쟁을 이어가고 있다.

HBM4는 데이터 전송 통로(I/O)를 기존 대비 두 배 수준으로 확대해 처리 효율을 높이면서도 전력 소모를 약 40% 줄인 것이 특징이다. 대역폭을 크게 높이면서 데이터 이동 거리를 줄인 구조 덕분에 동일한 연산을 수행하더라도 더 적은 전력으로 처리할 수 있다. 여기에 발열과 열 저항 특성까지 개선되면서 데이터센터 냉각 부담도 낮췄다.

SK하이닉스는 HBM 시장에서 확보한 주도권을 바탕으로 HBM4 경쟁에서도 우위를 이어간다는 전략이다. 엔비디아 등 주요 고객사 공급망을 기반으로 이미 AI 메모리 시장에서 사실상 표준을 선점한 상태로, 성능과 안정성을 동시에 강화하는 방향에 집중하고 있다. 특히 기존 제품 대비 전력 효율과 열 관리 성능을 개선해 고밀도 AI 서버 환경에 최적화된 솔루션을 제공하는 데 주력하고 있다.

삼성전자는 HBM4를 앞세워 고객사 확대와 기술 경쟁력 강화에 나서고 있다. 최근 미국 반도체 기업 AMD와 차세대 AI 메모리 협력을 확대하며 HBM4를 차세대 AI 가속기에 공급하기로 했다. 기존 엔비디아에 이어 AMD까지 주요 고객사로 확보하면서 AI 메모리 시장에서 입지를 넓히고 있다.

특히 삼성전자는 메모리와 파운드리, 패키징을 결합한 턴키 전략을 통해 시스템 전체 전력 효율을 높이는 데 초점을 맞추고 있다. 메모리와 연산 칩 간 인터페이스를 최적화하고 데이터 이동을 줄이는 구조를 통해 단일 칩 성능을 넘어 전체 시스템 효율을 개선하겠다는 접근이다. 업계에서는 SK하이닉스가 HBM 중심의 시장 주도권을 기반으로 경쟁력을 유지하고 있다면, 삼성전자는 시스템 통합 역량을 앞세워 차별화를 시도하고 있다는 분석이 나온다.

SK하이닉스가 지난해 4월 고객사 인증을 완료했다고 밝힌 CXL 2.0 기반 CMM-DDR5. 사진=SK하이닉스

◇'차세대 기술' CXL·PIM 강화…전력 절감 경쟁 확장

HBM에 이어 차세대 메모리 기술도 전력 효율 경쟁의 중요한 축으로 부상하고 있다. 대표적으로 CXL(컴퓨트익스프레스링크)과 PIM(프로세싱인메모리)이 꼽힌다.

CXL은 여러 서버와 프로세서가 메모리를 공유할 수 있도록 해 자원 활용도를 높이는 기술이다. 사용되지 않는 메모리를 줄이고 필요할 때 유연하게 할당할 수 있어 데이터센터 전체 전력 효율을 개선할 수 있다. 다만 아직 초기 도입 단계로, 생태계 구축과 비용 문제 등으로 인해 본격적인 확산까지는 시간이 필요하다는 평가가 나온다.

PIM은 메모리 내부에서 연산을 수행해 데이터 이동 자체를 줄이는 기술이다. 이론적으로는 데이터 이동 과정에서 발생하는 전력 소모를 크게 줄일 수 있어 가장 근본적인 해결책으로 꼽히지만, 범용성 확보와 소프트웨어 호환성 등 해결해야 할 과제가 남아 있다. 현재는 일부 테스트와 제한적 적용 단계에 머물러 있는 상황이다.

업계에서는 HBM이 현재 전력 효율을 끌어올리는 핵심 기술이라면, CXL과 PIM은 향후 데이터센터 구조 자체를 바꿀 수 있는 차세대 기술로 보고 있다.

반도체 업계 관계자는 "AI 반도체 경쟁은 더 이상 단순한 연산 성능 경쟁이 아니라, 데이터를 얼마나 덜 움직이면서 처리할 수 있느냐가 핵심 기준"이라며 "결국 AI 시대 반도체 경쟁의 승부처는 '더 빠른 칩'이 아니라 '더 적은 전력으로 더 많은 일을 하는 구조'가 될 것"이라고 말했다.