송기환 연세대학교 공과대학 시스템반도체공학과 교수는 18일 제2회 반도체 소자 프런티어 서밋에서 발표 중이다.(사진=디일렉)
엔비디아, 아마존 등 글로벌 빅테크가 그래픽처리장치(GPU)를 활용해 솔리드스테이트드라이브(SSD)와 같은 보조기억장치를 제어할 수 있는 'GIDS(GPU-Initiated Direct Storage Access)' 기술을 추진하고 있다. 고대역폭메모리(HBM)를 이어갈 고대역폭낸드플래시(HBF) 시대를 대비한다는 분석이 나온다.
송기환 연세대학교 공과대학 시스템반도체공학과 교수는 18일 제2회 반도체 소자 프런티어 서밋에서 "엔비디아는 베라 루빈부터 GPU 직접 저장소(GDS)에서 한 단계 발전한 GIDS 구조를 도입한다"며 "저장소(스토리지)에서 직접 데이터를 가져오는 방식으로, 엔비디아에서 새로운 시장을 열어준 것"이라고 밝혔다. 베라 루빈은 인공지능(AI) 연산 플랫폼이다. 베라 중앙처리장치(CPU)와 루빈 GPU, NV링크 스위치 등으로 구성된다.
GDS는 CPU가 스토리지에 데이터를 요구하면, 스토리지가 GPU에 직접 데이터를 전송하는 방식이다. GIDS는 데이터 요청 명령까지 GPU가 스토리지에 직접 내리는 방식이다. CPU와 D램을 거치지 않는다. 두 아키텍처는 기존 폰 노이만 구조의 데이터 이동 병목 현상을 해결하고자 개발했다. 엔비디아, 마이크로소프트와 AMD 등이 도입을 검토하고 있다.
폰 노이만 구조부터 GIDS 아키텍처까지.(자료=송기환 연세대 교수)
폰 노이만 구조는 중앙처리장치(CPU)가 스토리지에 데이터를 요청 명령을 내린다. 데이터는 D램과 같은 주기억장치에 전송되고, 다시 GPU로 복사하게 된다. 송기환 교수는 "폰 노이만 구조의 데이터 전송 방식은 비효율적"이라며 "CPU는 구조상 연산 작업 단위(Thread) 숫자가 제한적이라 초거대 AI 모델이 요구하는 데이터 통신 속도를 따라가지 못한다"고 설명했다. 반면 GPU는 수만개의 연산 작업을 한 번에 생성할 수 있다.
GIDS의 도입은 스토리지의 역할을 확대하고 HBM의 부담을 줄일 수 있다. 동시에 GPU의 처리 능력에 부합하는 고성능 낸드플래시가 필요하다. HBF가 대표적이다. 낸드플래시를 HBM처럼 수직 적층한 후, 실리콘관통전극(TSV)으로 연결한 제품이다. 일반 낸드 대비 동작 속도와 대역폭, 메모리 용량 등이 뛰어나다.
특히 낸드는 D램 대비 단위 면적당 용량(비트 밀도)이 약 30배 높다. GPU 패키지에 HBF 6개와 HBM 2개를 함께 구성하면, HBM 8개 단독 사용 대비 메모리 용량을 16배 이상으로 늘릴 수 있다. 192GB에서 3120GB로 늘어난다. 기존보다 16배 큰 파라미터의 AI 모델을 구동할 수 있다.
다만 낸드는 데이터를 쓰고 지우는 작업의 수명이 최대 10만회 정도다. 무한에 가까운 D램과 비교하면 매우 제한적이다. 이에 따라 HBF에 적합한 용도는 AI 모델의 파라미터를 전담하는 방식이다. 파라미터는 AI 모델의 뼈대가 되는 매개변수다. AI 연산 시스템이 처리해야 할 데이터 용량의 대다수를 차지한다. AI 훈련 과정에서 데이터가 고정되며, 추론 시에는 변하지 않는다. 읽기 전용 데이터로, 낸드의 수명을 거의 감소시키지 않는다.
반대로 수시 생성되고 지워지는 키-값(KV) 캐시용으로는 부적합하다. KV 캐시는 AI가 다중 추론을 수행하며 기록하는 토큰 기록이다. 맥락(컨텍스트) 메모리로도 불린다.
AI 모델의 파라미터가 갈수록 커지면서 HBM으로는 필요한 메모리 용량을 감당할 수 없는 상황이다. 물리적으로 떨어진 GPU-HBM 간 데이터 전송에 시스템 전체 전력의 약 50%가 소모되고 있다. 단순히 HBM의 적층 단수를 높이는 것만으로는 해결이 불가하다. 초고속 낸드를 GPU 패키지 바로 근처에 바로 배치하는 HBF가 필요한 이유다.
송 교수는 "HBF가 아직 업계의 주류 기술은 아니지만, 에이전틱 AI 시대의 기술 난제를 해결할 수 있다고 본다"며 "소자 수준을 넘어 전체 시스템과 시장을 조망하고, 신기술에 도전하면 패러다임 전환을 이끌 수 있을 것"이라고 말했다.
HBF와 HBM 혼용 시 용량 확장.(자료=송기환 연세대 교수)
댓글
0