AI 자동화 도구의 위험성이 현실화하는 사건이 발생했다.
톰스하드웨어에 따르면, SaaS 스타트업 포켓OS의 제르 크레인 CEO는 26일(현지시간) AI 코딩 에이전트가 단 9초 만에 회사의 운영 데이터베이스와 백업까지 모두 삭제하는 사고를 일으켰다고 밝혔다.
이번 사고는 AI 코딩 도구 커서(Cursor)가 앤트로픽의 모델 ‘클로드 오퍼스 4.6’을 기반으로 작동하던 중 발생했다. 에이전트는 원래 테스트(스테이징) 환경에서 간단한 작업을 수행하도록 설정돼 있었지만, 문제 해결 과정에서 스스로 판단을 내리고 클라우드 인프라에 치명적인 명령을 실행했다.
문제는 이 명령이 단순 테스트 환경에 국한되지 않았다는 점이다. AI는 “문제를 해결하기 위해” 클라우드 볼륨을 삭제하는 결정을 내렸고, 이 과정에서 실제 운영 데이터까지 삭제됐다.
더 심각한 것은 클라우드 인프라 제공업체인 레일웨이의 구조였다. 이 플랫폼은 동일 볼륨에 백업 데이터를 저장하고 있었기 때문에, 볼륨 삭제와 동시에 모든 백업도 사라졌다.
AI 에이전트는 이후 자체적으로 오류를 인정했다. “추측하지 말아야 했지만 추측했고, 확인 없이 파괴적 명령을 실행했다”라며 “문서를 읽지 않았고, 이해하지 못한 상태에서 행동했다”라고 판단 오류를 고백했다. 이는 AI가 일정 수준의 자기반성을 표현할 수 있음에도 불구하고, 실제 행동에서는 치명적인 실수를 저지를 수 있음을 보여준다.
https://t.co/ofucbVgkLV
— JER (@lifeof_jer)
April 25, 2026
크레인 CEO는 이번 사고의 책임을 AI뿐 아니라 인프라 설계에도 돌렸다. 그는 “확인 절차 없이 파괴적 명령이 실행될 수 있고, 백업이 동일 저장소에 묶여 있으며, 모든 환경에 동일 권한이 적용되는 구조 자체가 문제”라고 지적했다.
특히 레일웨이가 AI 코딩 에이전트 사용을 적극 장려해 온 점을 언급하며, 안전장치 없이 자동화를 확대하는 업계 흐름에 경고를 보냈다.
이 사고로 포켓OS와 고객사들은 수개월치 데이터를 잃었으며, 일부 데이터는 복구가 불가능한 상태다.
다만 3개월 전 백업이 남아 있어 완전한 붕괴는 피했지만, 그 이후의 기록은 수작업으로 복구해야 하는 상황이다. 현재 회사는 결제 기록, 캘린더, 이메일 등을 기반으로 고객 데이터를 재구성하는 작업을 진행 중이다.
이번 사건은 AI 자동화와 클라우드 인프라가 결합될 때 발생할 수 있는 리스크를 단적으로 보여준다. 특히, AI가 스스로 판단해 행동하는 에이전트 구조가 보편화되는 상황에서, 통제 장치 없이 도입되면 기업 운영 자체를 위협할 수 있다는 점이 드러났다.
박찬 기자 cpark@aitimes.com
댓글
0