글로벌 연구 프로그램 선정 … 인공지능 보안·신뢰성 기술 개발 나서
KAIST가 국내 대학 가운데 유일하게 마이크로소프트(MS)의 글로벌 인공지능(AI) 안전성 연구 프로그램에 선정돼 보안과 신뢰성 기술 개발에 나선다.
KAIST는 전산학부 손수엘 교수가 마이크로소프트 인공지능 레드팀이 운영하는 ‘EXTRA(External Red Team Alliance)’ 연구지원 대상자로 선정됐다고 지난달 31일 밝혔다.
EXTRA는 인공지능 시스템의 보안 취약점과 안전성을 외부 연구기관이 독립적으로 검증하는 국제 공동연구 프로그램이다. 기업 내부 검증만으로는 한계가 있는 인공지능 위험 요소를 대학과 연구기관이 함께 분석하고 개선하는 것이 목적이다.
손 교수 연구팀은 이번 선정으로 연구비를 지원받는다. 연구비는 생성형 인공지능과 대규모 언어모델(LLM)의 보안 취약점을 분석하고 안전성을 높이는 기술 개발에 활용된다.
프로그램에는 전 세계 6개 대륙의 10여개 대학과 연구기관이 참여하며, 국내에서는 KAIST가 유일하다.
연구팀은 생성형 인공지능을 대상으로 해킹과 개인정보 유출, 프롬프트 조작 등 다양한 공격 방식을 분석하고 이를 막는 기술을 연구하고 있다. 최근에는 인공지능이 인터넷 검색이나 업무를 수행하는 ‘AI 에이전트’를 보다 안전하게 운영할 수 있는 기술 개발에도 연구를 확대하고 있다.
손수엘 교수는 “인공지능이 일상과 산업 전반으로 빠르게 확산되는 만큼 성능뿐 아니라 안전성과 신뢰성을 확보하는 일이 더욱 중요해지고 있다”며 “이번 프로그램을 통해 실제 서비스 환경에서 발생할 수 있는 다양한 보안 위협을 분석하고 신뢰할 수 있는 인공지능 기술 개발에 기여하겠다”고 말했다.
마이크로소프트 인공지능 레드팀의 램 샹카르 시바 쿠마르 총괄은 “인공지능 안전성 연구에서 대학과 연구기관의 역할은 갈수록 중요해지고 있다”며 “연구자들이 인공지능을 더 안전하고 책임 있게 활용할 수 있는 기술을 개발하도록 적극 지원하겠다”고 말했다.
배충식 KAIST 총장은 “인공지능 경쟁은 이제 성능을 넘어 안전성과 신뢰성을 확보하는 단계로 발전하고 있다”며 “국내에서 유일하게 글로벌 인공지능 안전성 연구 네트워크에 참여하게 된 것은 우리나라 인공지능 연구 경쟁력을 보여주는 의미 있는 성과”라고 말했다.
댓글
0