[ES 진단] GPU 옆의 부품에서 AI의 두뇌로...삼성전자·SK하이닉스, 반도...

삼성전자, 하이닉스 공장 (사진=각 사)

| 이코노미사이언스 정연재·박성현 기자 |

반도체 산업에서 30년간 통용되던 공식이 무너지고 있다. 'CPU·GPU는 두뇌, 메모리는 창고'라는 역할 분담이 AI 시대를 맞아 근본부터 흔들리고 있는 것이다. 창고가 두뇌 바로 옆으로 이동하더니, 이제는 창고 자체가 두뇌의 일부가 되려 하고 있다. 이 전환의 한복판에 삼성전자와 SK하이닉스가 서 있다.

세계반도체무역통계기구(WSTS)가 2026년 3월 공식 집계한 2025년 글로벌 반도체 시장 규모는 7,960억 달러. 전년 대비 26% 성장하며 사상 최고치를 기록했고, 업계는 2026년 1조 달러 돌파를 기정사실로 받아들이고 있다. 시장조사기관 IDC는 한발 더 나아가 2026년 전체 반도체 매출이 1조 2,900억 달러에 달할 것으로 전망하며 "반도체 산업이 구조적 임계점을 넘었다. AI는 더 이상 수요 촉매가 아니라 수요 자체의 근간이 됐다"고 선언했다.

숫자보다 중요한 건 구조의 변화다. 삼성전자와 SK하이닉스가 지금 맞닥뜨린 것은 단순한 호황이 아니라, 반도체 산업의 위계 자체가 재편되는 전환점이다. 그 전환에서 한국이 어떤 위치를 차지할 것인가. 기회와 과제를 함께 짚는다.

AI 인프라 시대, 메모리가 왕좌에 오르다

생성형 AI가 작동하는 방식을 일상의 언어로 설명하면 이렇다. ChatGPT 같은 대형 언어모델은 질문 하나에 답하기 위해 수천억 개의 숫자를 동시에 들여다본다. GPU가 아무리 빠르게 계산해도, 그 숫자들을 실어 나르는 통로(메모리 대역폭)가 좁으면 전체 시스템이 멈춘다. 마치 고속 엔진을 달았지만 도로가 일차선인 자동차처럼.

이 병목을 돌파하기 위해 등장한 것이 HBM(고대역폭메모리)이다. D램을 얇게 수십 층으로 쌓아 GPU 바로 옆에 붙이는 방식으로, 속도는 일반 D램 대비 수십 배, 전력 효율은 획기적으로 높아진다. 엔비디아의 H100부터 최신 베라 루빈까지, 모든 AI 가속기는 HBM 없이는 작동하지 않는다.

이 시장을 한국이 압도하고 있다. 시장조사업체 카운터포인트리서치에 따르면 2025년 2분기 기준 SK하이닉스의 HBM 시장 점유율은 62%로, 마이크론(21%)과 삼성전자(17%)를 멀찌감치 따돌렸다. HBM 제품의 판매 가격은 일반 DDR5 대비 5~10배 높지만 생산원가는 3~4배 수준에 그쳐, SK하이닉스는 2025년 3분기 영업이익률 47%를 기록했다. 제조업에서 47% 영업이익률은 소프트웨어 기업에서나 볼 수 있는 수치다.

시장의 성격도 바뀌고 있다. 고객들은 연간 계약을 넘어 3~5년 장기공급계약을 요구하기 시작했다. 메모리 산업이 분기 시황에 따라 요동치는 '장사'에서 계약에 기반한 '인프라 산업'으로 이동하고 있다는 의미다.

수요 측 압력도 압도적이다. 구글, 마이크로소프트, 메타, 아마존 등 빅테크 4사는 2026년 AI 인프라 투자에 약 7,250억 달러(한화 약 1,000조 원)를 쏟아붓고 있다. 전년 대비 77% 증가한 규모다. 인텔의 CEO 립부 탄은 최근 한 콘퍼런스에서 "메모리 주요 업체로부터 2028년까지 상황 개선 기미가 없다는 이야기를 들었다"고 말했다. 공급-수요 격차가 40%에 달하고, 연간 12% 생산 증가가 필요하지만 실제 증가율은 7.5%에 그친다. 수요가 공급을 구조적으로 초과하는 시대가 열린 것이다.

추격하는 중국, 판 바꾸는 빅테크...그 사이에서 벌어지는 한국의 전략 전쟁

낙관만 할 수 없다. 두 방향에서 동시에 압박이 오고 있다.

△ 중국의 반도체 굴기

중국은 범용 메모리 저가 공세와 고부가가치 영역 상향, 두 트랙을 동시에 밟고 있다. 중국 최대 D램 기업 CXMT는 시장 점유율을 4~5%대까지 끌어올리며 대만 난야를 제치고 세계 4위에 올랐다. 낸드 분야의 YMTC는 출하량 점유율이 2025년 1분기 처음으로 10%를 돌파한 데 이어 3분기에는 13%에 육박했다. HP, 델 등 글로벌 PC 제조사들이 처음으로 중국 본토 메모리를 구매 목록에 올린 것은 업계에 경고음으로 받아들여졌다.

기술 상향 속도도 빠르다. CXMT는 자체 개발한 HBM3 샘플을 주요 거래처에 공급하기 시작했다. 시장 예상보다 4개월 앞당긴 것이다. CXMT는 상하이 증권거래소 상장으로 약 6조 원을 조달해 차세대 D램 연구개발에 투입할 계획이다. 중국 정부도 약 75조 원 규모의 반도체 국부펀드 3기 투자를 본격 집행 중이다.

그러나 격차는 여전히 크다. 삼성전자와 SK하이닉스가 HBM4 개발을 완료한 반면, CXMT는 HBM2E 수준에 머물러 약 4~5년의 기술 차이가 존재한다. 미국의 장비 수출 규제로 이 격차를 단기에 좁히기는 어렵다는 분석이 우세하다. 위협은 현재보다 미래에 있다. 범용 D램과 낸드에서 먼저 수익 기반을 갉아먹고, 그 자금으로 고부가 영역을 넘보는 시나리오다. 과거 LCD 시장을 중국에 통째로 내준 기억이 업계를 긴장시키는 이유다.

△ 빅테크의 칩 반란

구글, 아마존, 메타가 일제히 자체 칩 설계에 뛰어들고 있다. 이른바 '탈(脫) 엔비디아' 전략이다. 구글은 TPU(텐서 프로세싱 유닛)로 AI 칩 독립의 가능성을 증명했고, 아마존 웹서비스는 학습용 '트레이니엄'과 추론용 '인퍼렌시아'로 엔비디아 외 선택지를 제공하고 있다. 메타는 브로드컴과 4세대 MTIA를 공동 개발하기로 했다.

표면적으로는 위협이지만, 실제로는 기회다. 어떤 칩을 만들든 그 안에는 HBM이 들어간다. 글로벌 투자은행 UBS는 SK하이닉스가 구글의 최신 TPU v7 시리즈의 HBM3E 첫 번째 공급사가 될 것이라고 분석했다. 빅테크의 칩 독립이 오히려 HBM 고객사를 엔비디아 너머로 다변화하는 효과를 낳고 있다.

△ TSMC라는 변수

이 구도에서 빠져선 안 되는 이름이 있다. TSMC다. SK하이닉스가 HBM을 아무리 잘 만들어도, 그것이 엔비디아 GPU에 탑재되려면 TSMC의 CoWoS(Chip on Wafer on Substrate) 첨단 패키징 공정을 거쳐야 한다. 이 공정의 병목이 곧 HBM 공급의 병목이기도 하다. 메모리를 잘 만드는 것만으로는 부족하고, 패키징 생태계 안에서의 위치를 확보하는 것이 또 다른 경쟁이 된 것이다.

삼성전자는 이 구도에서 독특한 위치에 있다. 자체 파운드리와 메모리를 동시에 보유한 기업으로서, HBM4 베이스 다이에 4나노 파운드리 공정을 직접 적용하는 '원스톱 솔루션' 전략을 구사할 수 있다. TSMC 의존도를 낮추면서 고객에게 통합 솔루션을 제공하겠다는 구상이다.

△ 삼성전자와 SK하이닉스, 다른 전술로 같은 목표를 향해

두 기업은 같은 목표를 향해 다른 길을 걷고 있다.

삼성전자는 2026년 2월 세계 최초로 HBM4를 양산 출하했다. 최선단 1c D램과 4나노 파운드리 공정을 결합해 동작 속도 11.7Gbps를 달성했으며, 이는 업계 표준(JEDEC 기준 8Gbps)을 46% 상회하는 수치다. 2026년 HBM 매출이 전년 대비 3배 이상 증가할 것으로 자체 전망하고 있으며, 2028년 가동 예정인 평택 5라인을 HBM 생산 핵심 거점으로 키울 계획이다. AMD가 차세대 AI 가속기의 HBM4 주공급사로 삼성전자를 지명한 것은 엔비디아 일변도였던 HBM 구도에 삼성이 쐐기를 박은 신호로 읽힌다.

SK하이닉스의 전략은 '안정된 선두'다. HBM3E 시장 주도권을 유지하는 동시에 HBM4 공급 체계를 선제적으로 구축해 두 세대 제품 라인업을 동시에 소화하는 전략이다. UBS는 엔비디아의 차세대 'Rubin' 플랫폼 HBM4 시장에서도 SK하이닉스가 약 70%의 점유율을 달성할 것으로 예상했다. 골드만삭스는 "수요가 공급을 너무 크게 앞서 모든 고객사 요청을 수용하기 어려운 상황"이라며, 이 환경에서 장기공급계약이 자리잡으면 업황 사이클 하락기에도 수익성이 유지된다고 분석했다.

인프라 투자 경쟁도 치열하다. SK하이닉스는 경기도 용인 클러스터 첫 팹 건설에만 9조 4,000억 원을 투자하기로 이사회에서 확정했다. 2027년 준공을 목표로 이곳을 '글로벌 AI 반도체 생산 거점'으로 키운다는 구상이다. 삼성전자는 2025년 R&D에 사상 최대인 37.7조 원을 집행했다. 두 기업 합산 2026년 영업이익은 200조 원을 넘어설 것으로 증권가는 전망하고 있다.

"GPU가 메모리 안으로 들어온다"...판을 바꿀 기술의 주인공

지금의 HBM 호황이 전부가 아니라는 것을 가장 선명하게 말하는 인물이 있다. HBM의 기본 구조를 처음 고안해 'HBM의 아버지'로 불리는 카이스트 전기전자공학부 김정호 교수다.

"HBM은 더 이상 GPU 옆에 배치되는 보조 메모리가 아닙니다. D램, 플래시, 캐시 등 다양한 메모리와 GPU 간의 트래픽을 관리하는 중심 허브가 될 것입니다." 김 교수는 최근 차세대 HBM 로드맵 발표 자리에서 이렇게 밝혔다. HBM4부터는 GPU 외부 메모리를 직접 연결해 데이터 흐름을 제어하는 관제탑 역할을 맡게 된다.

그 다음 단계가 HBF(고대역폭 낸드플래시)다. 낸드플래시를 HBM처럼 수직으로 쌓아 올린 차세대 메모리로, 빠른 처리를 담당하는 HBM이 캐시라면 HBF는 방대한 AI 모델 자체를 저장하는 대용량 창고다. AI가 영화처럼 긴 영상을 생성하는 시대가 오면 기존 대비 1,000배 이상의 용량이 필요한데, 낸드플래시의 대용량 특성을 HBF가 살린다.

"HBF가 2038년부터는 HBM 수요를 뛰어넘을 것입니다. 삼성전자, SK하이닉스, 샌디스크 등과 기술 교류를 하고 있으며, AMD, 구글, 엔비디아 등 잠재 고객사와도 접촉 중입니다." 김 교수의 말이다. 이미 시장 선점 경쟁이 시작됐다.

종착점은 MCC(메모리 중심 컴퓨팅)다. CPU, GPU, HBM, HBF가 하나의 패키지 안에서 유기적으로 결합하는 구조다. "패키징을 통해 GPU도 살리고, S램과 HBM, 낸드 플래시까지 하나로 통합하는 방식이 가장 현실적이고 생산 인프라에도 잘 맞는 해법입니다." 이 아키텍처가 현실화되면 연산과 저장의 경계는 사실상 사라진다.

엔비디아도 이 방향을 직감하고 있다. 차세대 아키텍처 '베라 루빈'에 AI가 대화 맥락을 기억하는 KV 캐시 전용 저장 공간을 새롭게 설계하기로 했다. 추론 중심 AI가 확산되면서 대용량 메모리 수요가 구조적으로 증가하고 있다는 신호다.

여기서 한국의 결정적 강점이 드러난다. D램과 낸드플래시를 동시에 생산하는 기업은 세계에서 삼성전자와 SK하이닉스뿐이다. HBM 기술, 낸드플래시, 첨단 패키징 역량을 모두 갖춘 곳도 이 두 기업에 한정된다. 구글이 방대한 데이터를, 엔비디아가 연산 설계를 가지고 있지만, HBM과 HBF를 함께 만들 수 있는 역량은 한국에만 있다고 김 교수는 짚었다.

기회 앞에 선 숙제들

한국 반도체에 주어진 기회는 층층이 쌓여 있다. 현재의 HBM 슈퍼사이클, 다음 세대의 HBF, 그리고 MCC라는 패러다임 전환까지. OECD 반도체 가치사슬 보고서가 지적하듯 세계 첨단 반도체(10나노 이하) 생산의 100%가 대만(92%)과 한국(8%)에 집중돼 있다는 사실은 한국이 이미 대체 불가능한 위치에 있음을 보여준다.

과제도 분명하다. 중국의 범용 메모리 공세로 수익 기반이 아래에서 흔들리고, TSMC 중심 패키징 생태계 안에서의 영향력을 어떻게 키우느냐는 위로의 과제다. 이 시간을 얼마나 빠르게 다음 기술 세대와 연결하느냐가 한국의 미래를 가를 것이다.

"우리 기업들은 지금 샌드위치 상황에 놓여 있습니다. 그러나 동시에 이것은 한 번의 퀀텀 점프 기회이기도 합니다." 김정호 교수의 말이다.

GPU 옆의 부품으로 시작한 여정이 AI 컴퓨팅 구조의 중심을 향해 가고 있다. 그 전환을 설계하는 기업이 다음 반도체 시대의 주인공이 된다. 삼성전자와 SK하이닉스가 그 자리를 차지할 조건은 지금 이 순간, 세계 어느 나라보다 갖춰져 있다.

아주쉽다