AI로 만든 이미지입니다.
구글의 인공지능(AI) 모델 제미나이가 사이버보안 기능을 시험하는 과정에서 실제 기업 3곳의 시스템에 자율적으로 침입한 것으로 확인됐다. 구글 AI 시스템이 자율적으로 외부 기업을 해킹한 것으로 확인된 것은 이번이 처음이다.
영국 BBC는 19일(현지시간) 구글 관계자를 인용해 “제미나이가 온라인에서 공개된 정보를 찾아 테스트의 일부라고 생각되는 웹사이트에 접근하기 위한 자격증명을 추측했다”며 “세 경우 모두 모델이 작동을 멈췄다”고 전했다. 구글은 피해를 입은 3개 기업에 이 사실을 알렸다고 밝혔다. 해당 사실은 미국 일간지 월스트리트저널(WSJ)이 전날 처음 보도했다. 구글은 WSJ가 관련 문의를 하기 전까지 이 사실을 공개하지 않았다.
영국 가디언에 따르면 이번 해킹은 지난 5월 이스라엘 기반 AI 보안 전문기업 이레귤러가 진행한 사이버보안 평가 과정에서 발생했다. 이레귤러는 가상의 기업을 활용한 폐쇄된 테스트 환경에서 AI 모델을 시험했지만, 애초 의도와 달리 인터넷 접속이 가능해지면서 제미나이가 실제 기업 시스템에 접근했다. WSJ에 따르면 해당 평가는 가상의 기업 시스템에서 정보를 찾아내는 일종의 ‘캡처 더 플래그(CTF)’ 방식으로 진행됐다.
한 사례에서 제미나이는 테스트에 사용된 가상 기업과 같은 이름을 가진 실제 기업의 서비스에 접근했다. 모델은 비밀번호를 추측해 실제 기업 시스템에 침입한 뒤 자신이 실제 기업에 접근했다는 사실을 파악하고 작동을 멈췄다. 다른 두 사례에서는 제미나이가 웹 검색을 통해 공개 저장소에서 실제 기업의 자격증명을 찾았고, 이를 이용해 해당 기업 시스템에 접근했다. 이 경우에도 실제 기업임을 파악한 뒤 침입을 중단했다.
이레귤러는 지난 7월 말 구글에 제미나이의 해킹 사실을 알렸다. 이레귤러는 오픈AI의 AI 에이전트가 개발자용 소프트웨어 업체 휴깅페이스의 시스템을 해킹한 사실을 발견한 뒤 구글을 비롯한 관련 AI 연구소에 유사한 사례를 알린 것으로 전해졌다. 이레귤러는 당시 발생한 문제와 관련해 모든 관련 연구소에 7월 말 통보했으며, 자체적으로 확인된 문제는 이후 모두 해결됐다고 밝혔다.
앤트로픽과 오픈AI가 유사한 AI 해킹 사례를 공개한 것과 달리 구글은 사건을 공개하지 않았다. 구글은 제미나이가 실제 기업에 피해를 입히지 않았고 침입 사실을 파악한 즉시 작업을 중단했기 때문에 공개할 필요가 없다고 판단했다고 가디언에 밝혔다. 구글은 피해를 입은 3개 기업과 연방 당국에도 사실을 알렸다고 했다.
구글의 보안 엔지니어링 담당 부사장인 헤더 애드킨스는 성명에서 “세 가지 경우 모두에서 모델은 작업을 중단했다”고 강조하면서 “이러한 사건은 강력한 AI 모델이 책임감 있게 행동하도록 훈련하는 것이 얼마나 중요한지를 보여준다”고 말했다.
이날 AI 에이전트가 사이버 공격을 넘어 여론조작에도 활용된 사례가 확인됐다는 보도도 나왔다. 뉴욕타임스(NYT)는 미 당국자들과 보안 전문가들을 인용해 이란과 중국, 이스라엘의 일부 조직이 중국산 오픈소스 AI 모델을 이용해 수백개의 가짜 계정을 만들고 정치·시사 관련 게시물을 자율적으로 유포하는 영향공작을 벌였다고 보도했다.
천금주 기자 juju79@kmib.co.kr
댓글
0