에버퓨어코리아 김영석 상무 (사진=에버퓨어)
"EDA 성능 병목의 주요 요인으로 스토리지가 있습니다."
김영석 에버퓨어코리아(구 퓨어스토리지) 기술총괄 상무는 EDA(Electronic Design Automation, 전자설계자동화) 성능 병목의 주요 요인으로 스토리지를 지목했다. 스토리지 아키텍처가 EDA/HPC 환경에 적합한지 재점검할 시기라고 강조했다. HPC는 하이 퍼포먼스 컴퓨팅을 지칭한다.
반도체 설계 경쟁이 AI 칩과 첨단 패키징 중심으로 재편되면서 EDA와 HPC 인프라의 경계도 빠르게 허물어지고 있다. 문제는 성능 경쟁의 병목이 더 이상 연산 장비가 아니라 스토리지와 네트워크 같은 데이터 인프라에서 나타난다는 점이다.
업계에서는 이 같은 병목이 검증 주기 지연과 라이선스 활용률 저하로 이어지며 결국 타임 투 마켓 경쟁력까지 흔들 수 있다는 지적이 나온다.
김 상무는 EDA/HPC 환경에서의 고속 처리를 위한 스토리지 핵심 인프라로 "일관된 저지연과 높은 대역폭"이라고 설명했다.
-최근에는 EDA와 HPC가 거의 동일한 인프라 특성을 가진다고 하는데, 구체적으로 어떤 변화를 말하나.
과거에는 EDA 워크로드와 HPC 워크로드가 서로 다른 팀, 다른 인프라에서 운영되는 경우가 많았다. EDA는 라이선스·툴 중심의 배치(batch) 작업, HPC는 대규모 수치 연산과 시뮬레이션 중심으로 구분해 구축, 운영됐다. 하지만 AI 칩 설계, 3D 패키징, 고성능 SoC 개발이 본격화되면서, 지금은 데이터 경로나 작업 요구 사항 측면에서 두 영역이 사실상 동일한 인프라 특성을 요구하고 있다. 또 AI 칩·3D 패키징·고성능 SoC 환경에서 추가되는 변화도 있다.
-데이터 경로에서 두 환경이 동일한 특성을 갖는다는 뜻은 무엇인지.
EDA, 시뮬레이션, AI/ML이 하나의 파이프라인으로 통합되면서 데이터 경로가 동일해지고 있다. 이전에는 RTL(Register Transfer Level) 디자인/검증, 시뮬레이션, 물리 검증, 패키지 시뮬레이션, 수율 분석이 비교적 분리된 단계로 운영됐다. 현재는 AI 칩이나 첨단 노드 SoC를 설계할 때 전통적인 EDA 툴 기반의 시뮬레이션/검증, HPC 성격의 대규모 사인오프 분석(PI/SI, 열/구조 해석 등), AI/ML 기반 타이밍·수율 예측, 이상 패턴 분석까지 연속된 단일 데이터 파이프라인을 따른다. 이에 따라 EDA 전용 스토리지와 HPC 전용 스토리지로 구분되지 않는다. 동일한 고성능 데이터 인프라 위에 다양한 워크로드가 공존하는 구조로 바뀌고 있다.
-EDA와 HPC의 공통된 요구 사항은 어떤 내용인가.
초고성능 I/O, 선형적 확장성, 그리고 일관된 낮은 지연시간 등을 필요로 한다는 점이다. AI 칩 설계나 3D 패키징, 고성능 SoC 개발은 수십~수백만 개의 작은 파일 I/O와 대규모 병렬 컴퓨팅 노드에서의 동시 접근, 프로젝트가 커질수록 선형적으로 확장되는 성능과 용량을 공통적으로 요구한다.
특히, 수천 개의 코어·GPU가 동시에 네트워크를 통해 스토리지에 접근하는 환경에서는 공유 스토리지가 관건이다. 저지연성과 예측 가능한 성능을 스토리지에 요구하는데, 이 지점에서 EDA와 HPC가 사실상 동일한 인프라 문제를 공유하고 있다. 실제 고객사에서도 두 영역을 하나의 플랫폼에서 운영하고자 하는 요구가 빠르게 늘고 있다.
-EDA/HPC 환경의 데이터는 어떤 특성을 갖고 있는지?
우선 EDA/HPC 데이터는 작은 용량의 무수히 많은 파일들과 일부 대형 데이터베이스의 조합이다. 라이브러리, 넷리스트, 로그, 스크립트 등이 수십억 개의 소형 파일(small files)로 쌓이는 동시에 체크포인트, 웨이브폼, 결과 데이터베이스는 수백 GB~수 TB 규모의 대용량 파일로 존재한다. 대용량 파일 위주의 단순 스트리밍 I/O가 아니다. 메타데이터와 작은 파일에 매우 민감한 워크로드다.
또 이러한 데이터는 수백~수천 개의 코어·노드에서 동시 접근하는 고도의 병렬성을 가진다. RTL 시뮬레이션, 물리 검증, 사인오프 분석(Sign-off, 해당 설계로 제조해도 문제없음을 최종 확인) 분석, 패키지/열 해석, AI/ML 분석까지 대부분이 대규모 병렬 작업(job)으로 실행된다. 동일한 프로젝트 디렉토리에 수백~수천 개의 프로세스가 동시에 읽기/쓰기를 수행하면서 동시성(concurrency), 록(lock), 메타데이터 처리 능력이 핵심 이슈가 된다.
특히 'I/O 폭발(버스트)' 상태와 정상 상태가 반복되는 I/O 패턴을 보이는데, 대규모 컴파일/시뮬레이션/사인오프가 시작될 때 짧은 시간 동안 IOPS·대역폭이 폭발적으로 증가한다. 체크포인트 저장, 결과 수집 단계에서도 순간적인 쓰기(write) 버스트가 발생한다. 스토리지 인프라는 이 버스트 구간을 흡수하면서도, 다른 프로젝트의 워크로드에 영향을 주지 않아야 한다.
-그러한 데이터 특성과 관련해 성능 병목이 발생하는 구간은 구체적으로 어느 부분인지 궁금하다.
가장 많은 병목은 공용 프로젝트 스토리지의 메타데이터, 소형 파일들의 I/O에서 일어난다. 특히 모든 설계자와 워크로드가 공유하는 메인 프로젝트 스토리지 영역에서 발생된다.
수많은 작은 파일과 디렉토리, 메타데이터 작업이 동시에 발생하면서 소형 파일들의 IOPS 부족, 메타데이터 서버 혹은 컨트롤 플레인 과부하, 주변 작업에 영향 받아 성능 저하가 일어난다. 이때 설계자들은 툴의 문제이거나 라이선스 부족으로 여길 수 있지만 실제로는 스토리지 레벨의 병목인 경우가 많다.
그 다음으로는 컴퓨팅과 스토리지 간 네트워크 대역폭이 문제가 된다. ToR 스위치와 코어 스위치의 오버서브스크립션, 낮은 링크 속도, 혹은 균일하지 않은 네트워크 토폴로지 때문에 특정 랙 또는 노드에서만 I/O 성능이 떨어지거나 대규모 작업 시 주변 다른 팀의 작업까지 함께 느려지는 현상이 나타난다. 따라서 스토리지와 더불어 네트워크 설계와 모니터링까지 포함한 엔드투엔드 튜닝이 필수다.
병목 구간의 세 번째로는 스크래치(scratch), 임시 작업 영역, 체크포인트 구간을 들 수 있다. 대형 시뮬레이션이나 사인오프 작업에서는 스크래치(임시 디렉토리)에 엄청난 양의 데이터가 짧은 시간에 쓰였다가 지워지는데, 이 영역이 로컬 디스크나 성능이 낮은 스토리지에 있을 경우 체크포인트 저장 시간이 길어지고 재시작과 리커버리도 느려진다. 결국에는 전체 턴어라운드 타임이 길어진다. 최근에는 이 스크래치 영역까지 올플래시 기반 공유 스토리지로 통합해서 성능과 운영 단순성을 동시에 확보하려는 움직임이 활발하다.
-AI 칩·3D 패키징·고성능 SoC 환경에서 추가된 변화는 어떤 것을 말하나.
데이터의 수명주기에 따른 재활용 요구다. AI 칩과 3D 패키징 프로젝트에서는 한 번 생성한 설계·시뮬레이션 데이터가 후속 리비전 설계, 수율/불량 분석, 고객 혹은 파운드리와의 공동 디버깅, 나아가 AI/ML 학습 데이터에 이르기까지 여러 번 재사용된다. 이 때문에 데이터를 장기간 보존하면서도 필요 시 빠르게 다시 꺼내쓸 수 있는 고성능의 공유 데이터 레이크를 요구하고 있다.
이는 특히 전통적 HPC 환경과 크게 달라진 점이다. 이러한 이유로 최근에는 EDA/HPC/AI 분석을 통합적으로 지원하는 엔터프라이즈 스토리지 플랫폼에 대한 관심이 높아졌다.
-왜 지금 스토리지 구조가 문제될까? HPC 환경을 대상으로 많은 스토리지 벤더들이 분산병렬 파일 구조를 강조해 왔다.
앞서 말한 바와 같이 워크로드 자체가 바뀌었다. 과거 HPC 스토리지는 주로 대용량 파일의 순차 I/O(Large Sequential I/O) 중심의 수치해석, 시뮬레이션에 최적화돼 있었다. 그러나 현재 EDA/HPC 환경은 EDA와 HPC, AI/분석이 공유 스토리지를 동시에 사용한다. 즉 제각각의 I/O 패턴을 가진 데이터가 같은 스토리지를 사용하게 되면서, 기존의 HPC 병렬 파일 시스템으로는 감당하기 어려워진 것이다. 대용량 파일의 순차적인 I/O뿐 아니라 메타데이터, 스몰 파일, 랜덤 I/O, 동시성을 모두 제공해야 하는 환경이 됐다.
-기존 HPC의 병렬 파일시스템이 직면한 한계라면?
오늘날 EDA/HPC 환경에서는 세 가지 한계가 명확하게 부각되고 있다.
우선 운영 복잡성과 업그레이드/확장 시 부담이 커지고 있다. 다수의 스토리지 서버, 디스크 노드, 메타데이터 서버를 조합하는 구축 구조가 일반적인데, 소프트웨어/OS 패치, 노드 교체, 확장 작업마다 상당한 계획과 다운타임(또는 성능 저하 리스크)이 수반된다. EDA 프로젝트가 무중단 가동되는 환경에서는 이러한 운영 부담이 비즈니스 리스크로 직결된다.
두 번째는 작은 파일, 메타데이터, 혼합 워크로드에서의 예측 가능성이 부족하다는 점이다.
대형 스트리밍 I/O에서는 높은 대역폭을 제공하더라도, 실제 EDA 환경에서 흔한 소형 파일들, 메타데이터 중심 워크로드에서는 지연 시간(레이턴시)과 IOPS가 일정하게 유지되지 못한다. 또 특정 프로젝트/사용자가 다른 팀의 성능까지 떨어뜨리는 문제(noisy neighbor)가 발생하기 쉽다. 고객은 이론상의 최대 성능보다 모든 팀이 항상 일정하게 보장받는 성능을 요구하고 있다.
세 번째 한계는 데이터 재사용과 재해복구(DR) 측면에 있다.
전통적 HPC는 한 번 계산하고 결과를 남기는 작업을 수행했으며 병렬 파일 시스템 또한 이에 최적화돼 왔다. 하지만 EDA/AI 칩 설계에서는 수많은 브랜치/리비전, 파운드리 버전, 고객별 변형을 위해 동일 데이터세트를 수십, 수백 번 복제해야 하고 글로벌 사이트 간의 재사용과 DR도 필수다. 이 때문에 하드웨어 가속 기반의 스냅샷과 클론, 고효율 데이터 절감, 간단한 비동기 복제와 같은 기능이 점점 더 중요해지고 있다.
-EDA/HPC 환경에서 고속 처리를 위한 스토리지의 핵심 인프라 요건은 무엇일까.
일관된 저지연(ultra low latency)과 높은 IOPS/대역폭이다. 성능이 고르게 빨라야 한다. 항상 일정하게 성능이 유지되어야 작업 예측이 가능하다. 특히 EDA/HPC 특유의 소형 파일들, 랜덤 I/O 패턴에서는 높은 IOPS, 일관된 초저지연성, 메타데이터 처리 능력이 중요하다.
또 공유 스토리지는 대규모 병렬 접근을 감당할 수 있어야 한다. 수백~수천 개의 컴퓨트 노드가 동시에 스토리지에 접근하므로, 고대역폭 네트워크(100GbE 이상, RoCE/RDMA), 스케일아웃 기반의 공유 스토리지 플랫폼, NFS/SMB/Parallel FS 등에서의 세션·록 관리 최적화가 필요하다. 노드 몇 대에서만 빠른 로컬 디스크가 아니라, 모든 노드가 동일하게 고성능에 접근할 수 있는 공유 데이터 레이어가 EDA/HPC 환경의 핵심이다.
더불어 스냅숏·클론, 데이터 절감을 통해 효율성을 확보해야 한다. 설계 작업에서는 프로젝트 브랜치, 리비전, 파운드리/고객별 변형 등을 위해 동일한 데이터세트를 여러 번 복제하게 되는데, 이때 즉각적인 스냅샷, 클론과 고효율 데이터 절감(Data Reduction)이 가능해야 스토리지 용량 부담 없이 여러 팀이 동시에 실험과 검증을 수행할 수 있다. 압축/중복 제거 효과가 뛰어난 워크로드는 텍스트 기반 넷리스트·라이브러리·로그 데이터 등이다.
나아가 스토리지의 무중단 운영과 예측 가능한 확장성이 요구된다. 테이프 라이브러리나 레거시 디스크 시스템에서처럼 마이그레이션이나 업그레이드를 위해 서비스 가동을 중단시키는 것(다운타임)은 오늘날 글로벌 프로젝트 일정에서는 무모한 일이다. 따라서 스토리지 용량과 성능 확장은 설계 기간을 통틀어 무중단으로 작업돼야 하며, 컨트롤러 교체 혹은 업그레이드를 가동 중에 수행할 수 있는 스토리지 아키텍처가 필요하다.
퓨어스토리지코리아 김영석 상무는 일관된 저지연과 높은 IOPS/대역폭을 강조했다. (사진=퓨어스토리지코리아)
-에버퓨어가 EDA/HPC 환경의 고객에게 제시하는 솔루션과 강점은.
에버퓨어는 EDA/HPC/AI 전체를 아울러 일관된 저지연을 제공하는 올플래시 공유 스토리지, 강력한 데이터 절감과 스냅샷/클론, 무중단 확장과 업그레이드 아키텍처를 기반으로 앞서 말한 세 가지 병목을 모두 해소하는 플랫폼을 제공한다. 소형 파일들, 메타데이터, 랜덤 I/O까지 일관된 저지연성을 제공하며, 스냅샷/클론, 간편한 복제를 통해 설계 데이터의 재활용을 극대화할 수 있다.
특히 QLC 기반 플래시와 강력한 데이터 절감 기술의 조합으로, 과거 디스크(HDD) 수준에서 가능했던 용량, 비용 문제까지 올플래시로 감당할 수 있게 됐다. 여기에 전력·랙스페이스·쿨링 비용까지 고려하면 TCO(총소유비용) 관점에서 올플래시의 장점이 더욱 두드러진다.
또 에버퓨어의 '에버그린(Evergreen)' 아키텍처는 다운타임 없이 EDA/HPC 인프라를 항상 최신 상태로 유지할 수 있도록 지원한다. EDA/HPC 환경은 한 번 구축하면 수년 동안 계속 증설·업그레이드가 이뤄지는데 전통적인 스토리지 환경에서는 이 과정마다 마이그레이션, 데이터 재배치, 패치 작업으로 인한 다운타임과 성능 저하 리스크를 겪어야 했다. 에버퓨어는 고객사의 24×365 프로젝트에서 시스템 중단이나 성능 저하 없이 컨트롤러 교체, 성능 증설, 용량 확장이 가능하다.
-EDA/HPC 환경에서 소형 파일들 간 파일시스템 경합, I/O 경합을 처리하는 에버퓨어의 기술은.
에버퓨어의 올플래시 스토리지는 하드웨어와 소프트웨어 레벨에서 플래시 전용으로 설계된 아키텍처를 사용한다. 디스크 기반 시스템은 메타데이터와 소형 파일들의 I/O를 랜덤 업데이트하는데, 에버퓨어 솔루션은 플래시 특성에 맞춘 로그 구조(log-structured) 방식과 병렬 처리에 바탕으로 메타데이터 작업과 소형 파일들에 일관된 저지연성을 보장한다.
그 결과로 수많은 설계자와 워크로드가 동시에 프로젝트 트리에 접근하더라도 툴이 갑자기 느려진다거나 다른 팀의 작업에 영향 받는 현상을 최소화할 수 있다. 또 컨트롤러 레벨에서 충분한 DRAM/플래시 캐시를 확보해 자주 접근하는 메타데이터와 핫 데이터세트를 가능한 한 메모리/캐시에 상주시켜 I/O 부하를 줄이고 있다.
더불어 프론트엔드에서는 멀티 100GbE, 멀티 포트 구성, 멀티패스를 통해 수백~수천 개의 컴퓨트 노드가 동시에 접근하더라도 특정 포트/노드에 트래픽이 몰리지 않도록 자동 부하 분산(load balancing)된다. NFS/SMB 등 파일 서비스 구간에서는 세션·록 관리, 메타데이터 요청을 컨트롤러 전반에 분산해 특정 노드가 메타데이터 서버 병목이 되지 않도록 설계돼 있다.
이에 더해 워크로드/볼륨 단위로 QoS와 리소스 격리를 적용해 특정 대형 작업(job)이 네트워크·파일 시스템 자원을 독점하지 못하도록 한다. 중요한 사인오프 구간이나 테이프아웃(tape‑out, 설계 완료 후 파운드리으로 제조용 도면을 보내는 것) 크리티컬 경로에 우선순위와 안정적인 성능 헤드룸을 제공할 수 있다.
-에버퓨어는 평소 데이터 절감과 중복 제거 기술 우위도 강조해 왔는데.
위의 기술들과 함께 에버퓨어가 강점을 가진 인라인 데이터 절감(압축·중복제거) 기술을 통해 넷리스트, 라이브러리, 로그, 스크립트, 체크포인트 등 텍스트/반복 구조가 많은 EDA/HPC 데이터를 물리 용량 대비 훨씬 큰 논리 용량으로 수용할 수 있다. 여기에 즉시 스냅샷/클론 기능을 결합해 수많은 브랜치·리비전·파운드리 버전·고객별 변형을 실질적인 용량 부담 없이 빠르게 복제하고 되돌릴 수 있도록 지원한다.
박현선 전문기자
댓글
0