[IT마니아 Pick&play-NPU] 내 컴퓨터 안의 AI 엔진, 'NPU'란 무엇일까?

왜 지금 ‘NPU’에 주목해야 하는가

범용 연산에서 AI 전용 가속으로… 반도체 패러다임의 전환

온디바이스 AI의 서막, 내 컴퓨터 속 ‘작은 뇌’가 만드는 미래

[디지털포스트(PC사랑)=박신영 기자] “자비스, 데이터 화면 띄워.” 영화 ‘아이언맨’에는 똑똑한 인공지능 비서 ‘자비스’가 등장한다. 아이언맨이 무언가 명령만 내리면 알아서 척척 정보를 찾아주고, 수트도 조종한다. 그런데 이제 우리 PC 안에도 똑똑한 AI 비서(자비스만큼은 아니지만)가 들어왔다. 최신 PC나 노트북을 살 때, 꼭 확인해야 한다는 ‘NPU(신경망처리장치)’가 바로 그 주인공이다.

과연 이 작디작은 반도체가 우리 PC 환경을 어떻게 바꾸고 있는 걸까? 단순히 PC를 잘 판매하기 위한 마케팅 용어일 뿐일지, 아니면 정말로 ‘내 컴퓨터 안의 뇌’가 하나 더 생긴 것일지 살펴본다.

PC의 두뇌가 변하고 있다

CPU는 범용 연산과 제어에 뛰어난 성능을 보이는 처리장치다. (이미지 출처: 인텔)

지난 호에서 기자는 ‘최신 AI 프로세서를 탑재한 노트북’에 대한 기사를 작성한 바 있다. 그때 설명했듯 AI는 현 PC 시장에서 화두이며, 이는 PC 부품의 가격 상승을 불러왔다. 그러나 AI 학습에 필수 불가결했던 GPU는 본래 그래픽 출력을 위해 설계돼, AI 활용에 있어 전력 소모가 크고 성능의 한계가 존재했다.

그때 등장한 것이 ‘NPU’다. NPU는 오직 AI의 인공 신경망(Neural Network) 연산만을 위해 설계된 특수 목적 하드웨어로 인간의 뇌 구조를 모방해 데이터 흐름을 최적화하고, 딥러닝에서 가장 많이 쓰이는 행렬·벡터 연산을 극도의 효율로 처리한다.

그렇다면 CPU와 GPU와는 무엇이 다를까. 이를 이해하기 쉽게 우리의 학창 시절과 비유하면 다음과 같다.

첫째, CPU(중앙처리장치)는 ‘모든 과목을 다 잘하는 전교 1등’이다. 복잡한 명령을 내리고 시스템 전체를 관리하지만, 단순 반복적인 AI 숙제가 수만 개씩 쏟아지면 금방 지치고 열이 난다.

둘째, GPU(그래픽처리장치)는 ‘한 번에 수천 장의 그림을 그리는 미술 천재’다. 본래 그래픽 계산을 위해 만들어졌기에 단순 계산을 병렬로 처리하는 능력이 뛰어나 AI 연산을 돕기도 하지만, 덩치가 크고 밥(전기)을 많이 먹는다는 단점이 있다.

셋째, NPU는 오직 ‘인공지능 문제만 다루는 AI 1타 강사’다. 인간의 뇌 구조를 본떠 설계된 만큼 딥러닝의 핵심 연산들을 가장 빠르고 효율적으로 처리한다.

NPU, 왜 모두 PC에 탑재할까?

각 장치의 차이점에 대해 살펴봤다. 그렇다면 NPU가 주목받는 이유는 무엇일까? 이는 데이터 이동의 ‘병목 현상’ 해결에 있다.

일례로 한국지능정보사회진흥원이 2024년 발표한 ‘반도체 및 미래컴퓨팅 기술 보고서’에 의하면 AI 연산 시 발생하는 에너지 소모의 상당 부분은 연산 자체가 아닌, 메모리에서 프로세서로 데이터를 옮기는 과정에서 발생함을 알 수 있다. 그런데 NPU는 이와 같은 데이터 경로를 AI 연산에 최적화해 설계돼, GPU보다 전력 대비 성능이 수십 배는 뛰어났다.

GPU는 전력 소모가 높고 발열 관리가 쉽지 않은 반면, NPU는 전력을 적게 소모한다. (이미지 출처: Google Gemini 생성)

여기에 마이크로소프트가 제시한 ‘Copilot+ PC’ 규격 또한 NPU의 중요성을 더욱 공고히 하고 있다. PC 시장에서 ‘AI PC’로 공인받기 위해서는 초당 40조 번 연산이 가능한 ‘40 TOPS’ 이상의 NPU 성능이 필수적이다. 이를 통해 화상 회의 중 배경 흐림이나 실시간 자막 생성 같은 작업을 NPU가 전담하게 함으로, CPU와 GPU는 본연의 작업(문서 작성·게임 등)에만 집중할 수 있는 환경을 만든다.

마이크로소프트의 대화형 인공지능 ‘Copilot’. PC 사용에 각종 편리함을 더한다. (이미지 출처: 마이크로소프트)

NPU가 그리는 미래

그렇다면 NPU가 가져올 PC의 미래는 어떠할까?

첫째, 하드웨어 성능의 상향 평준화다. 현재 마이크로소프트가 제시한 ‘40 TOPS’는 시작에 불과할지도 모른다. 주요 프로세서 제조사인 인텔, AMD, 퀄컴은 올해 로드맵을 통해 50 TOPS 이상의 고성능 NPU 탑재를 공식화했다. 이는 앞으로 출시될 모든 PC가 복잡한 거대언어모델(LLM)을 클라우드 서버 도움 없이 로컬 환경에서 직접 구동할 수 있는 수준에 도달할 것임을 의미한다.

둘째, 하드웨어와 소프트웨어가 결합한 ‘AI 생태계’ 완성이다. 이전에 GPU가 그래픽카드에 머물지 않고 엔비디아의 ‘CUDA’를 통해 범용 연산의 핵심이 되었듯, NPU 역시 전용 라이브러리의 최적화가 가속화될 전망이다.

엔비디아는 고성능 GPU 하드웨어(블랙웰 등)와 전용 소프트웨어 플랫폼 ‘CUDA’를 통합해 AI 데이터센터 시장의 약 86%를 독점하고 있다. (이미지 출처: 엔비디아)

실제로 마이크로소프트와 어도비는 자사 소프트웨어(마이크로소프트 365, 팀즈, 포토샵, 프리미어 프로 등)에 AI를 적극 도입하고 있으며, 일상적인 오피스 프로그램(폴라리스 오피스 등)까지 NPU를 기본으로 탑재하게 되면서 소프트웨어의 구동 방식 자체가 NPU 유무에 따라 크게 갈릴 것으로 보인다.

셋째, 개인화된 ‘AI 비서’의 등장이다. 온디바이스 AI 기술과 NPU가 결합하면, 사용자의 민감한 개인정보를 클라우드 서버에 공유·학습시키는 것이 아닌, PC가 사용자의 작업 패턴을 스스로 학습할 수 있다. 개인 맞춤형 자동화 스크립트 작성, 보안이 강화된 데이터 분석 등 ‘오롯이 나를 위한 PC’가 실현된다.

엔비디아의 RTX PRO 6000 Blackwell Server Edition GPU. (이미지 출처: 엔비디아)

마치며

GPU가 AI의 시대를 열었다면, NPU는 그 기술을 우리 일상으로 끌어들이는 ‘AI 대중화’의 주역이다. 이전의 GPU가 ‘GPGPU’ 기술을 통해 범용 연산 시장의 판도를 바꿨듯, NPU는 이제 모든 PC의 필수 하드웨어로 자리매김하고 있다.

결국 NPU의 도입은 PC의 패러다임이 단순한 ‘연산’이 아닌, PC가 스스로 판단하는 ‘지능’으로 진화하고 있음을 시사한다. 특히 AI를 클라우드 서버에만 의존하지 않고 내 PC에 직접 처리하는 ‘온디바이스 AI’ 시대가 본격화됨에 따라 NPU의 역할이 더욱 막중해졌다.

화상 통화 애플리케이션에서 AI 기능을 활용하면 화상 회의 중 자동 배경 흐림 처리부터 일정 관리까지 NPU의 도움으로 편하게 회의에 몰입할 수 있다. (이미지 출처: Google Gemini 생성)

당장은 NPU를 활용한 기능들이 단순하다고 느낄 수 있으나, NPU의 전용 소프트웨어 생태계가 구축된다면 PC 활용 방식이 지금과는 완전히 다른 차원으로 바뀌리라고 본다. 따라서 향후 등장할 수많은 소프트웨어가 NPU를 기반으로 작동할 것임을 고려할 때, NPU의 내장 유무는 이제 PC 구매 시 반드시 확인해야 할 최우선 사양이다.

▶ 네이버 뉴스스탠드에서 ‘디지털포스트(PC사랑)’를 만나보세요!