장문 처리 성능 높이는 LLM 기술 개발…학부생 제1저자 참여
서강대 컴퓨터공학과 DISCOS 연구실이 개발한 대규모 언어모델(LLM) 성능 향상 기술이 국내 최대 컴퓨터 학술대회에서 최우수논문상을 받았다.
서강대는 컴퓨터공학과 김준원 학생(21학번), 유정현 박사과정, 김영재 교수 연구팀이 발표한 ‘SurrogateKV: 어텐션 안정화 기반 의미보존 KV 캐시 압축’ 논문이 지난 6월 제주국제컨벤션센터에서 열린 2026 한국컴퓨터종합학술대회(KCC 2026) 컴퓨터시스템 부문 최우수논문상에 선정됐다고 밝혔다.
챗GPT와 같은 대규모 언어모델은 이전 대화 내용을 기억하기 위해 ‘KV 캐시’라는 메모리를 사용한다. 대화나 문서가 길어질수록 이 메모리가 계속 커져 GPU 메모리 사용량과 데이터 전송량이 늘고, 답변 속도도 느려지는 문제가 있다.
기존에는 중요도가 낮은 정보를 아예 삭제해 메모리를 줄였다. 하지만 삭제된 내용은 인공지능과 인공지능이 더 이상 참조할 수 없어 문맥이 끊기거나 답변의 정확도가 떨어질 수 있었다.
연구팀은 이런 문제를 해결하기 위해 ‘SurrogateKV’ 기술을 개발했다. 중요도가 낮은 정보를 모두 삭제하는 대신, 핵심 내용만 담은 하나의 압축 정보로 바꿔 저장하는 방식이다. 이를 통해 메모리 사용량은 줄이면서도 인공지능이 이전 문맥을 계속 활용할 수 있도록 했다.
실험 결과 KV 캐시를 기존의 25%만 사용하는 조건에서도 기존 압축 기술보다 성능이 9.73점 높게 나타났다. 답변 시작 시간 증가도 최대 22.9밀리초(ms) 수준에 그쳐 성능 저하를 최소화했다.
연구팀은 이번 기술이 장문의 문서를 요약하거나 긴 대화를 처리하는 인공지능 서비스, 검색 결과를 바탕으로 답변을 생성하는 서비스 등에서 메모리 효율과 응답 품질을 함께 높이는 데 활용될 것으로 기대하고 있다.
제1저자인 김준원 학생은 “학부생으로 연구를 직접 설계하고 구현해 좋은 성과를 거둘 수 있어 뜻깊다”며 “이번 경험을 바탕으로 다양한 연구에 계속 도전하고 싶다”고 말했다.
댓글
0