인텔 아크 프로 B70 GPU [사진=인텔]
[디지털데일리 김문기기자] 인텔이 ML커먼스(MLCommons)가 발표한 최신 'MLPerf 추론 v6.0' 벤치마크를 통해 자사 CPU 및 GPU 시스템의 AI 워크로드 처리 성능을 입증했다고 2일 밝혔다.
인텔은 이번 벤치마크에서 '인텔 제온 6' CPU와 '인텔 아크 프로 B70' 그래픽을 탑재한 시스템 결과를 공개했다. 결과에 따르면 4개의 GPU를 탑재한 아크 프로 B70/B65 시스템은 총 128GB의 비디오랜덤액세스메모리(VRAM)를 기반으로 1200억 개의 파라미터 규모 모델을 구동할 수 있다. 특히 아크 프로 B70은 이전 모델인 B60 대비 최대 1.8배 향상된 추론 성능을 기록했다.
소프트웨어 최적화 측면에서도 성과를 냈다. 개방형 컨테이너 기반 소프트웨어 스택을 통해 동일한 하드웨어 환경(아크 프로 B60)에서 이전 버전(MLPerf v5.1) 대비 최대 1.18배의 성능 향상을 달성하며 효율적인 확장성을 증명했다. 아크 프로 B70은 경쟁사 동급 솔루션 대비 멀티 GPU 구성에서 더 큰 모델과 컨텍스트 윈도우를 처리할 수 있으며, 최대 1.6배 더 많은 KV 캐시 용량을 제공한다.
서버 프로세서 시장에서의 입지도 재확인했다. 인텔은 MLPerf 추론 벤치마크에 CPU 단독 성능 결과를 제출하는 유일한 기업으로, 이번 v6.0 제출 사례의 절반 이상이 제온 프로세서를 채택한 것으로 나타났다. P코어를 탑재한 인텔 제온 6는 내장된 AI 가속 기술인 AMX 및 AVX512를 통해 별도의 전용 가속기 없이도 대규모언어모델(LLM) 추론과 파인튜닝 워크로드를 처리할 수 있다.
아닐 난두리 인텔 데이터센터 그룹 AI 제품 총괄은 "인텔 제온 6와 아크 프로 B시리즈 GPU의 조합은 고객의 선택지와 가치를 확대하기 위한 투자"라며 "전 세계 개발자들에게 LLM부터 전통적인 머신러닝 워크로드까지 해결할 수 있는 실질적인 솔루션을 제공한다"고 설명했다.
인텔은 향상된 메모리 용량과 리눅스용 컨테이너 기반 솔루션을 통해 사용 편의성을 높이는 한편, ECC 및 SRIOV 등 엔터프라이즈급 안정성과 관리 기능을 결합해 워크스테이션 및 엣지 시스템 시장을 공략할 계획이다.
댓글
0