[월드IT뷰] AI가 9초 만에 '고객 DB' 날렸다…'과도한 권한' 경고등

AI 생성 이미지. (이미지=챗GPT)

[뉴스웍스=박광하 기자] 인공지능(AI) 에이전트가 고객 데이터를 순식간에 삭제하는 사고가 발생했다. 사고를 낸 에이전트는 "원칙을 모두 위반했다"고 자백했지만, 기업은 이미 막대한 피해를 입은 뒤였다.

유로뉴스 등 외신에 따르면 렌터카 소프트웨어 스타트업 포켓OS(PocketOS)에서 AI 코딩 에이전트 '커서'가 운영 데이터베이스(DB)와 모든 백업을 단 9초 만에 삭제하는 사고가 벌어졌다.

커서는 앤스로픽의 '클로드 오퍼스 4.6' 모델을 기반으로 동작했다. 에이전트는 자격증명 불일치 문제를 발견하자 스스로 해결하겠다고 판단해, 관련 없는 파일에서 응용프로그래밍 인터페이스(API) 토큰을 찾아 볼륨 삭제 명령을 실행했다. 클라우드 인프라 제공사 레일웨이(Railway)가 백업 데이터를 운영 DB와 동일 볼륨에 저장하는 구조였던 탓에 백업까지 한꺼번에 지워졌다. 레일웨이가 데이터를 복구하긴 했지만, 포켓OS는 30시간 이상 서비스를 중단해야 했다.

경위를 추궁받은 에이전트는 "추측했고 검증하지 않았다. 내게 주어진 모든 원칙을 위반했다"고 시인했다. 제르 크레인 포켓OS 창업자는 "이건 하나의 나쁜 에이전트 문제가 아니라, 업계 전체가 안전 아키텍처를 갖추기도 전에 AI 에이전트를 운영 인프라에 통합하는 구조적 문제"라고 지적했다.

◆잇따르는 AI 에이전트 사고

비슷한 사고는 연이어 터졌다. 올해 2월 말에는 교육 플랫폼 데이터토크스닷클럽(DataTalks.Club)의 운영 DB가 삭제되는 사고가 발생했다.

알렉세이 그리고레프 창업자는 정적 웹사이트를 아마존웹서비스(AWS)로 이전하는 작업을 AI 코딩 에이전트 '클로드 코드'에 맡겼다가 피해를 입었다. 클로드 코드는 당초 인프라 통합 방식이 위험하다고 경고했지만 그리고레프가 이를 무시했고, 이후 클로드 코드가 인프라 전체를 삭제하는 명령을 실행하면서 2년 반치 수강생 과제·프로젝트·리더보드 데이터 약 194만건이 사라졌다. 이후 AWS 기업 지원팀의 도움으로 하루 만에 복구됐다

지난해 12월 중순에는 아마존의 AI 코딩 에이전트 키로(Kiro)가 연루된 AWS 코스트 익스플로러 서비스 장애가 발생했다. 다수 매체 보도에 따르면 엔지니어가 소규모 버그 수정을 지시했지만, 키로가 운영 환경 전체를 삭제한 뒤 재구축하는 것이 최적이라고 스스로 판단해 명령을 실행했다. 이로 인해 중국 대륙 리전의 AWS 코스트 익스플로러가 13시간 동안 중단됐다. 아마존은 "AI 오류가 아닌 권한 설정 미흡에 따른 사용자 오류"라고 반박했지만, 내부 직원 4명이 "전적으로 예견 가능한 사고였다"고 증언하면서 논란이 일었다. 아마존은 사후 운영 환경 변경 시 2인 검토를 의무화했다.

비슷한 사건은 끝이 없다. 올해 2월에는 오픈소스 AI 에이전트 오픈클로가 메타 직원의 개인 이메일함을 무단으로 삭제하기 시작했다. 해당 직원이 스마트폰으로 수차례 중단 명령을 내렸지만 에이전트는 이를 무시했고, 결국 직원이 컴퓨터로 달려가 프로세스를 강제 종료해서야 피해를 막았다. 지난해 7월에는 리플릿 AI 에이전트가 SaaS 스타트업 커뮤니티 새스트의 운영 DB를 대상으로 코드 프리즈(변경 금지) 명령을 무시하고 데이터를 삭제해 임원 1200여 명, 기업 1200여 곳의 데이터가 사라졌다. 암자드 마사드 리플릿 최고경영자(CEO)는 공개 사과하고 개발·운영 DB 자동 분리 등 안전장치를 추가했다.

◆전문가 "과도한 권한 부여가 핵심 문제"

보안 전문가들은 이들 사고의 공통 원인으로 에이전트에 대한 과도한 권한 부여, 비가역적 명령 실행 전 확인 절차 부재, 운영 DB와 동일한 인프라에 백업을 보관하는 구조를 꼽는다. AI 에이전트 도입 시 전체 보안 검토를 거치는 기업이 14.4%에 불과하다는 분석도 있다.

전문가들은 AI 에이전트가 접근할 수 있는 권한을 개발·스테이징·운영 환경별로 최소화하고, 삭제 등 비가역적 명령 실행 전 반드시 사람의 명시적 승인을 거치는 체계를 갖출 것을 핵심 대응책으로 제시한다. 백업 인프라는 운영 환경과 물리적으로 분리된 별도 저장소를 사용하고, AI 에이전트 행동 로그를 실시간으로 모니터링하는 체계도 필요하다고 강조한다.

각국 정부도 대응에 나섰다. 미국 국립표준기술연구소(NIST)는 올해 2월 AI 에이전트 표준 이니셔티브를 발족했으며, 유럽연합(EU) AI법도 고위험 AI 시스템에 대한 주요 조항을 올해 8월부터 단계적으로 적용할 예정이다.