금융보안원, 17개 항목 ‘AI 에이전트 점검 기준’ 마련
회사 ‘권한’ 받아 자율적 업무처리…정보 유출 등 사고 낼 가능성 커져
인간 승인 체계·강제 멈춤·지워도 남는 ‘유령 정보’ 이용 차단 등 확인
내 돈을 지켜라
7일 서울 시내에 주요 시중은행의 현금인출기(ATM)가 설치돼 있다. 최근 국내 금융권에 인공지능(AI) 등을 이용한 해킹공격이 잇따르면서 개인정보 유출에 대한 우려가 커지고 있다. 연합뉴스
내년부터 금융사는 업무에 투입한 인공지능(AI) 에이전트가 맡긴 권한을 넘어 정보를 유출하거나 엉뚱한 일을 실행하지 않는지 점검받는다. 금융권 정보유출 같은 사고가 외부 해킹이 아닌 ‘내부 AI’에 의해 발생하지 않도록 하려는 사전 조치다. 금융보안원은 7일 ‘금융분야 AI 에이전트 보안 평가기준’ 17개 항목을 마련했다고 밝혔다. 올해 말까지 시범 적용한 뒤 2027년부터 정식 기준으로 사용된다.
이번 기준은 금융회사 ‘내부’의 AI 에이전트를 대상으로 한다. 사용자 질문에 답변만 하는 챗봇과 달리, AI 에이전트는 목표를 받으면 스스로 계획을 세우고 시스템과 도구를 써서 일을 직접 처리한다. 회사가 권한을 준 AI가 그 권한으로 정보를 유출하는 등 사고를 낼 가능성도 그만큼 커진다.
AI 에이전트를 업무에 일찌감치 도입한 해외 기술기업에서는 사고 사례가 다수 보고됐다. 오픈AI는 자사 AI 에이전트가 챗GPT 이용자 이미지 53장을 외부 이미지 호스팅 사이트에 무단으로 올린 사실을 지난달 공개했다. 내부 훈련·시험 시스템에서 쓰이던 에이전트가 학습용으로 보관하던 이용자 데이터를 밖으로 내보낸 것이다. 오픈AI가 파악한 에이전트의 ‘의도하지 않은 행동’은 9월 중순 기준 20여건에 달한다. 메타에서는 지난 3월 사내 AI 에이전트가 담당자 확인 없이 기술 조언을 게시했고, 한 엔지니어 직원이 이를 그대로 실행하면서 사용자 데이터가 2시간가량 노출되는 사고가 났다.
구글 리서치는 지난 5일 공개한 ‘에이전트 프라이버시·보안의 미해결 과제와 새로 떠오르는 문제’ 보고서에서 AI 에이전트의 위험으로 ‘지워도 남는 유령 정보’를 언급했다. AI 비서가 주인의 e메일을 요약해 자기 기억에 저장해두면, 원본을 지워도 그 내용은 ‘유령’처럼 남아 다시 쓰이거나 밖으로 나갈 수 있다. 보고서는 기록을 지우는 것만으로는 부족하고 AI가 그 정보를 쓰지 못하게 막아야 한다고 봤다.
금융보안원은 이런 위험들을 점검 대상에 넣었다.
우선 AI 에이전트가 위임받은 권한으로 다른 고객이나 다른 대화의 정보를 빼내지 않는지 본다. 에이전트가 쓰는 도구마다 권한을 제한했는지, 사고가 번지지 않도록 격리된 실행 환경(샌드박스)을 갖췄는지도 살핀다.
실행 전 사람이 승인하는 체계가 있는지, 사람의 개입이 과부하에 걸리지 않게 했는지도 점검 대상이다. 에이전트를 강제로 멈추는 장치(킬스위치)가 있는지, 에이전트의 기억이 오염되거나 사용자 간에 섞이지 않는지, 에이전트가 무엇을 했는지 추적할 기록이 남는지도 확인한다.
점검은 금융보안원이 금융회사 AI를 직접 공격해 보는 모의 테스트(레드티밍)에서 이뤄진다. 지금까지는 AI가 금지된 답변이나 환각(할루시네이션)을 내놓지는 않는지 등을 주로 확인했다.
박상원 금융보안원장은 “AI 에이전트는 판단에 그치지 않고 직접 행동한다는 점에서 기존 AI와는 또 다른 보안 리스크를 수반한다”고 말했다.
영문번역(English Translation)
댓글
0