▲ 연구이미지 (AI 생성)
질문에 답하고, 검색하고, 코드를 실행하는 AI 에이전트가 데이터센터 전력망의 새 부담으로 떠올랐다. 복잡한 업무를 스스로 쪼개 처리하는 과정에서 기존 생성형 AI보다 질문 한 건당 최대 136.5배 많은 에너지를 쓴다는 분석이 나왔다.
KAIST 전기및전자공학부 유민수 석좌교수 연구팀은 AI 에이전트 서비스의 계산 비용, 응답 시간, 에너지 소비량, 데이터센터 전력 수요를 체계적으로 분석한 연구 결과를 5일 공개했다.
▲ (왼쪽부터) 신병준 석사과정, 정진하 석박통합과정, 김지인 박사과정, (우상단) KAIST 유민수 교수
AI 에이전트는 대형언어모델을 활용해 답변을 만드는 데 그치지 않고, 문제 해결 계획을 세운 뒤 검색·계산·코드 실행 등 외부 도구를 반복 호출한다. 연구팀은 이 과정을 데이터센터 서버와 GPU가 처리하는 새로운 작업 단위로 보고 실제 실행 흐름을 측정했다.
분석 결과 AI 에이전트는 여러 차례 언어모델 호출을 반복하며 답변 시간을 최대 153.7배 늘렸다. 외부 도구가 작업하는 동안 GPU가 계산 없이 대기하는 시간도 전체 실행 시간의 최대 54.5%에 달했다. 비싼 연산 자원이 충분히 활용되지 못하는 구조적 손실이 확인된 셈이다.
▲ AI 에이전트의 주요 특성과 인프라 시사점
매개변수 700억 개 규모 언어모델을 활용한 AI 에이전트는 질문 한 건 처리에 평균 348.41와트시를 소비했다. 일반 질의응답형 생성형 AI와 비교하면 최대 136.5배 높은 수치다.
하루 137억 건의 요청이 이뤄지는 환경을 가정한 결과 데이터센터 전력 수요는 약 198.9기가와트로 추산됐다. 이는 현재 추진되는 수 기가와트급 AI 데이터센터 규모를 크게 웃도는 수준이다.
연구팀은 AI 모델 성능 경쟁과 함께 반도체, 데이터센터, 전력 인프라를 함께 설계하는 공동 설계 방식이 필요하다고 제시했다. 서비스 운영비와 전력 부담을 함께 낮춰야 AI 에이전트 확산을 감당할 수 있다는 진단이다.
유 석좌교수는 "AI의 지능을 구현하고 유지하는 데 드는 전력과 비용을 수치로 제시한 첫 연구"라며 "AI 에이전트 모델과 데이터센터, 전력 인프라를 통합적으로 최적화하는 연구가 중요해질 것"이라고 짚었다.
이번 연구는 KAIST 김지인 박사과정이 제1저자로 참여했으며, 지난 2월 국제학회 IEEE HPCA에서 발표됐다. 연구팀은 관련 구현 기술과 벤치마크를 오픈소스로 공개했다. /대전=이한영기자
댓글
0