[현장] "AI 인프라 엔비디아 쏠림 심화..K-NPU 생태계 구축 시급"

국회 '소버린AI와 AI반도체: 추론 인프라 국가전략' 토론회

이진호 "추론 인프라, 석유·통신급 국가 핵심 인프라"

네이버 "AI 경쟁력, SW·HW·인프라 수직 통합이 좌우"

입조처 "K-NPU 정책, 부처 관할권 충돌로 중복 우려"

과기부 "올해 AI 반도체 골든타임..국산 NPU 생태계 구축"

이진호 서울대 전기·정보공학부 교수가 2026년 4월 6일 오전 국회의원회관 제9간담회의실에서 열린 '소버린AI와 AI반도체: 추론 인프라 국가전략' 토론회에서 '추론 인프라 패권 경쟁 시대, K-NPU 미래전략 키워드: 역량과 협동'을 주제로 발표하고 있다. /사진=강민혁 기자

인공지능(AI) 인프라 경쟁이 심화되는 가운데 사실상 독점 체계를 구축한 엔비디아 GPU(그래픽처리장치) 의존도를 줄이기 위해 NPU(신경망처리장치) 경쟁력 확보와 AI 소프트웨어(SW)·하드웨어(HW) 통합 역량 구축이 시급하다는 지적이 나왔다.

국회 입법조사처는 이러한 인식에 공감하면서도 AI 반도체 정책 추진 과정에서 부처 간 관할권 충돌로 정책 중복이 발생할 수 있다는 우려를 제기했다.

당국은 올해와 내년을 AI 반도체 산업의 ‘골든타임’으로 보고 R&D(연구개발), 초기 실증·공공 수요 창출, 생태계 조성 등 3축 전략을 제시했다.

6일 오전 국회의원회관 제9간담회의실에서 '소버린AI와 AI반도체: 추론 인프라 국가전략' 토론회가 열렸다.

이진호 서울대 전기·정보공학부 교수는 '추론 인프라 패권 경쟁 시대, K-NPU 미래전략 키워드: 역량과 협동' 주제 발표에서 “추론 인프라는 단순한 시장을 넘어 국가 전략적으로 핵심적인 역할을 수행한다”고 말했다.

이 교수는 AI·HW·SW 공동설계, 지능형 메모리, 딥러닝 분산기법 등을 연구해 온 전문가다.

그는 “에이전틱 AI와 피지컬 AI로의 확장이 본격화되면서 산업, 무기체계, 공공서비스 등 전 분야로 적용 범위가 확대되고 있다”고 설명했다.

또 “AI는 더 이상 전문가 영역에 머무르지 않고 일반인의 실생활에서도 필수적인 요소가 됐다”고 밝혔다.

이 교수는 국내 AI 생태계의 해외 의존도에 대해 우려를 나타냈다.

그는 “모델 구조, 파라미터, 추론 인프라 전반이 해외에 의존하고 있다”며 “서비스가 중단될 경우 디지털 마비로 이어질 수 있다”고 지적했다.

이어 “추론 인프라는 석유, 식량, 통신과 같은 국가 핵심 인프라와 유사한 전략적 가치를 지닌다”고 덧붙였다.

기술 구조와 관련해 “GPU·NPU는 행렬 연산을 빠르게 수행하기 위한 장치로, 저전력, 대역폭, 유연성 등이 핵심 고려 요소”라고 설명했다.

또 “CUDA, 파이썬, vLLM, SGLang 등 소프트웨어 역량은 하드웨어를 효율적으로 활용하기 위한 필수 요소”라고 밝혔다.

글로벌 생태계의 구조적 편중 문제도 언급했다.

이 교수는 “GPU, 소프트웨어(CUDA), 연결기술(NVLink) 전 영역에서 엔비디아가 준독점적 지위를 확보하고 있다”고 말했다.

이어 “MoE(전문가 혼합 모델)와 같은 스파스 모델 구조가 GPU에 유리하게 발전하면서 생태계 자체가 엔비디아 중심으로 재편되고 있다”고 설명했다.

그러면서 “GPU 내부 텐서코어 역시 소형 NPU와 유사한 구조로 진화하고 있다”고 덧붙였다.

추론 인프라 경쟁 전략에 대해서는 보다 강도 높은 대응을 주문했다.

이 교수는 “한 단계씩 따라가는 방식으로는 이미 늦다”며 “생태계는 항상 다음 단계로 이동하고 있다”고 지적했다.

이어 “NPU, 소프트웨어, 연결기술을 동시에 확보하는 집중적인 투자와 전략이 필요하다”고 강조했다.

또 “개방형 오픈소스 기반 툴체인을 구축하고, NPU 특성에 최적화된 모델 구조와 알고리즘 개발이 병행돼야 한다”고 설명했다.

연결기술과 관련해서는 “NPU 간 고대역폭·저지연 네트워크와 병렬화, 연산·통신 최적화 기술이 중요하다”고 밝혔다.

아울러 “이 모든 요소에 대한 집중 투자가 뒷받침돼야 자생적인 생태계가 형성된다”며 “기업은 기술 경쟁력 확보, 학계는 선행 연구와 인재 양성, 정부는 연구개발 지원과 시장 환경 조성을 통해 협력을 이끌어야 한다”고 덧붙였다.

권세중 네이버클라우드 AI컴퓨팅솔루션 기술기획 및 대외협력 이사(공학박사)가 2026년 4월 6일 오전 국회의원회관 제9간담회의실에서 열린 '소버린AI와 AI반도체: 추론 인프라 국가전략' 토론회에서 발언하고 있다. /사진=강민혁 기자

발제 후 이어진 토론은 △이경한 서울대 전기·정보공학부 교수를 좌장으로 △하창수 퓨리오사AI 상무 △권세중 네이버클라우드 AI컴퓨팅솔루션 기술기획 및 대외협력 이사(공학박사) △장준영 법무법인 세종 AI센터장 △정준화 국회 입법조사처 입법조사관 △이강용 과학기술정보통신부 정보통신방송기술정책과장 등이 참여했다.

권세중 네이버클라우드 이사는 “AI 기반 산업 경쟁력 강화와 혁신은 기존 소프트웨어·하드웨어 기술 변화와는 차원이 다른 속도와 영향력을 지닌다”고 말했다.

이어 “AI 기술에 대한 깊은 이해를 바탕으로 한 전략 수립이 필수적”이라고 설명했다.

권 이사는 “AI 주권은 단순한 기술 개발이 아니라 데이터, 모델, 컴퓨팅 인프라 전반에 걸친 자립 역량을 의미한다”고 밝혔다.

그는 “이를 확보하지 못할 경우 국가 안보와 국가 경쟁력이 위협받을 수 있다”고 지적했다.

또 “AI 모델 성능 확보에는 막대한 컴퓨팅 자원이 필요하며, 이를 효율적으로 운영하기 위해 SW·HW·데이터센터·인프라 전반의 수직 최적화가 필수적”이라고 설명했다.

권 이사는 “하드웨어와 인프라에서 확보된 성능 수준이 AI 성능과 비용 경쟁력을 결정짓는다”고 말했다.

이어 “추론 인프라는 사용량이 늘어날수록 성능이 확장되는 특성이 있다”며 “비용 경쟁력이 떨어질 경우 국가 전체의 산업 생산성과 AI 경쟁력이 함께 저하될 수 있다”고 우려했다.

그는 “중국은 ‘모델-칩 생태계 혁신 연합’ 등을 통해 모델 기업과 칩 기업 간 협업을 제도화하고, 이를 정부 정책과 연계해 국가 AI 전략을 추진하고 있다”고 전했다.

아울러 “한국도 기술 성과 기반 정책 인센티브, 서비스 기업 중심의 생태계 리더십, 정부의 벤치마크 체계 마련이 시급하다”고 덧붙였다.

정준화 국회 입법조사관은 “인공지능 분야에서 모델 경쟁 못지않게 인프라 경쟁도 치열해지고 있으며, 그 핵심은 반도체”라고 강조했다.

정 조사관은 “AI 모델과 AI 반도체는 국가 AX(인공지능 전환)의 핵심 기반이자 디지털 공공재로 작용한다”고 설명했다.

이어 “미국, 중국, 대만 등 주요 국가들은 AI 주권 확보를 위해 반도체 생태계 전략을 적극 추진하고 있다”고 밝혔다.

정 조사관도 이 교수와 마찬가지로 엔비디아 GPU 중심의 시장 독점 구조와 CUDA 기반 소프트웨어 생태계가 형성한 높은 진입장벽을 지적했다.

NPU 생태계 구축을 위해 “점진적 추격이 아닌 집중 투자가 필요하다”며 “엔비디아 GPU와 K-NPU를 병행하는 투트랙 전략을 추진해야 한다”고 밝혔다.

그는 “국방·공공 분야에서 NPU를 적용해 시범사업을 통해 레퍼런스를 확보할 필요가 있다”고 말했다.

또 “글로벌 확산 전략을 통해 갈라파고스화를 방지하고, NPU 팹리스와 파운드리 육성도 병행해야 한다”고 강조했다.

정 조사관은 “반도체 인력 부족 규모가 2024년 1784명에서 2031년 5만4000명까지 확대될 것으로 전망된다”고 말했다.

이어 “설계와 제조를 함께 이해하는 융합형 인재 양성이 필요하고, 대학원 수준에서 반도체·소프트웨어·시스템을 통합 교육하는 체계가 요구된다”며 “기업이 커리큘럼 설계와 현장실습에 참여하는 산학 협력 모델도 필요하다”고 제언했다.

정책 추진 과정에서의 거버넌스 문제도 언급했다.

정 조사관은 “K-NPU 정책 추진 과정에서 관련 위원회 간 관할권 중첩이 불가피하다”며 “산업통상자원부와 과학기술정보통신부 간 역할 경쟁으로 유사 정책이 중복 추진될 가능성이 있다”고 지적했다.

아울러 “청와대와 국무총리실 등 컨트롤타워 구축과 국회의 지속적인 모니터링이 필요하다”고 덧붙였다.

이강용 과기정통부 과장은 “소버린 AI 구현을 위해 국산 NPU를 중심으로 한 독자적인 AI 생태계를 구축하는 것이 중요하다”고 말했다.

이 과장은 “정부는 2020년 이후 약 1조원 규모의 투자를 진행해 왔다"며 "올해와 내년을 AI 반도체 산업의 ‘골든타임’으로 보고 있다”고 강조했다.

그는 “R&D는 빠르게 변화하는 기술 흐름을 반영해 유연하게 운영하고, 기업 수요를 반영하는 방향으로 설계하고 있다”고 설명했다.

또 “국산 NPU의 시장 안착을 위해 공공 데이터센터와 정부 인프라를 활용한 실증 사업과 시범 적용을 확대하고 있다”고 말했다.

이 과장은 “하드웨어부터 소프트웨어, 모델, 서비스까지 이어지는 ‘풀스택 실증’을 통해 국산 NPU 기반 서비스 구현 사례를 만드는 것이 중요하다”고 밝혔다.

이어 “이러한 실증을 통해 기업들이 국내외에서 활용할 수 있는 레퍼런스를 확보할 수 있을 것”이라고 말했다.

그는 “칩 자체보다 이를 활용할 수 있는 생태계가 더 중요하다”며 “학생과 개발자들이 국산 NPU를 자연스럽게 접하고 활용할 수 있는 환경을 만드는 것이 핵심”이라고 밝혔다.

아울러 “R&D, 공공 실증, 인재 및 생태계 조성을 중심으로 정책을 추진해 나갈 것”이라며 “올해와 내년 골든타임 동안 집중적인 투자와 제도 지원을 통해 산업 경쟁력을 확보하겠다”고 덧붙였다.

이번 토론회는 이훈기 더불어민주당 의원이 주최했다.

정준화 국회 입법조사처 입법조사관이 2026년 4월 6일 오전 국회의원회관 제9간담회의실에서 열린 '소버린AI와 AI반도체: 추론 인프라 국가전략' 토론회에서 발언하고 있다. (왼쪽부터)이강용 과학기술정보통신부 정보통신방송기술정책과장, 정준화 조사관. /사진=강민혁 기자

2026년 4월 6일 오전 국회의원회관 제9간담회의실에서 열린 '소버린AI와 AI반도체: 추론 인프라 국가전략' 토론회 관계자들이 기념사진을 촬영하고 있다. /사진=강민혁 기자