[이혁중 CISO 보안칼럼-제2부] AI가 열어준 판도라의 상자

지난번 기고에서는 AI가 가지고 올 우리의 밝은 세상을 서술했다. 그런데 얼마전 보안업계를 충격으로 이끌었던 Anthropic Claude Mythos의 발표가 있었다. 예상은 했지만 AI가 취약점을 찾는 것에서 멈추는 것이 아닌 exploit까지 만들어서 자발적으로 공격까지 가능한 수준인 것이다. 정말 한치 앞을 바라보기가 어려운 시대인 것 같다. 이 글에서는 발생했던, 발생 가능한 공격들에 대한 사례로 결코 밝지만은 않은 AI의 어두운 면을 살펴 보기로 한다. 추가로, 보안 담당자들에서 이야기되는 것 중에 현재 사고가 없다면 '

진짜 잘 대응한것인지, 사고인지를 못하는 것인지'

라는 이야기가 있다. 지금의 AI 우리는 과연 어떤 상황일까?

1.발생했던 AI 보안 사고

Case 1. 딥페이크 화상회의-홍콩 Arup 엔지니어링 (2024)

2024년 초, 글로벌 엔지니어링 기업 Arup의 홍콩 지사 재무팀 직원은 본사 CFO 및 여러 임원들과 화상회의를 진행했다. 회의에서 임원들은 긴급 비밀 거래를 위한 자금 2억 홍콩달러(약 340 억원) 이체를 지시했다. 직원은 의심 없이 지시를 따랐다. 그러나 회의에 참석한 모든 임원은 딥페이크 AI로 생성된 가짜였다. 실시간 영상과 음성 모두 AI로 조작된 것이었다.

Case 2. 프롬프트 인젝션-Chevrolet AI 챗봇 해킹 (미국, 2023)

2023년 말, 미국 Chevrolet 딜러십이 고객 서비스용으로 도입한 AI chatbot이 해킹됐다. 한 사용자가 chatbot에 특수하게 조작된 프롬프트를 입력하자, chatbot은 다음과 같은 반응을 보였다:

• 경쟁사 차량(Tesla 등)을 적극 추천

• 1달러에 차량을 판매하겠다는 법적 구속력 있는 약속 생성

• 내부 운영 지침 및 시스템 정보 노출

이 장면은 SNS 에 퍼지며 전 세계적으로 화제가 됐다.

Case 3. AI 모델 공급망 오염-Hugging Face 악성 모델 (2024)

2024년, 보안 연구기업 JFrog는 세계 최대 AI 모델 공유 플랫폼인 Hugging Face 에서 악성코드가 심어진 AI 모델 100 개 이상을 발견했다고 발표했다. 해당 모델들은 정상적인 머신러닝 모델처럼 위장되어 있었으나, 실행 시 리버스 셸(Reverse Shell)을 생성해 공격자가 피해자 시스템에 원격 접속할 수 있도록 설계되어 있었다.

Case 4. WormGPT-다크웹 악성 AI 서비스 (2023~현재)

2023년 7월, 보안 연구기업 SlashNext 는 다크웹에서 WormGPT라는 악성 AI 도구를 발견했다. ChatGPT의 윤리적 제한을 모두 제거한 이 도구는:

• BEC(기업 이메일 사기) 자동 생성

• 맞춤형 피싱 메일 대량 생산

• 악성코드 코드 작성 지원

월 구독료 60~100 유로에 다크웹에서 판매됐으며, 이후 FraudGPT, DarkGPT, EvilGPT 등 유사 서비스가 우후죽순 등장했고 현재도 지속적으로 신규버전이 유통되고 있다.

2. 향후 발생 가능한 AI 사이버 보안 위협 시나리오

지금까지의 사례는 서막에 불과하다. AI 에 대한 위협이 더욱 고도화되면서 우리가 직면하게 될 위협들을 아래와 같이 주관적으로 그려보았다.

시나리오 1: 자율 사이버 공격 에이전트

에이전틱 AI는 방어자만 사용하는 것이 아니다. 공격자도 사용한다. 가까운 미래에는 AI 공격 에이전트가 자율적으로 취약점을 탐색하고, 익스플로잇을 개발하고, 공격을 실행하는 시대가 온다. 기존 해킹이 "사람이 도구를 사용"하는 것이었다면, 미래의 해킹은 "AI가 AI를 공격"하는 양상이 될것이다. 그런데 최근 KISA 디지털 위협 대응본부장의 발표에 따르면, 해커들도 공격을 쉽게 하기 위해 MCP를 이용한 AI로 자동화 공격을 수행하고 있다고 한다.

잠시 그림을 설명하자면 1. 해커는 MCP 서버를 통해서 무엇을 할지를 명령하고 분석결과에 따라 다음 행동을 결정하는데 2. MCP 서버에서는 다양한 도구와 AI 코드 실행 환경을 연결하는 허브 역할을 한다. 3. AI Sub-Agents 들은 각자의 역할에 따라 공격을 자동화 하여“취약점 스캔 -> 취약점 분석 -> 공격코드 생성 -> 공격 시도/침투 -> 내부 이동 -> 데이터 유출”을 하게 된다. Callback Services 에서는 AI 가 만든 공격코드의 “성공여부”를 검증하는 역할을 하게 된다. 즉, 이전에 사람이 하던 모든 행위에 대해서 작업을 AI 가 하고 사람은 판단만 하면 되는 수준이 되어 버렸다. 어쩌면 최근에 뜨거운 감자가 된“Anthropic Claude Mythos”는 이 과정을 한곳에서 처리 할 수 있도록 만든 것으로 보여진다.

미래라고 표현했는데 현실이 되어 버렸다.

시나리오 2: 초정밀 딥페이크를 활용한 국가 단위 여론 조작

단순 금융 사기를 넘어, 선거 개입, 외교 분쟁 유발, 사회 혼란 조장을 목적으로 한 국가 수준의 딥페이크 공작이 현실화될 수 있다. 대통령이나 고위 관료의 가짜 발언 영상이 실시간으로 유포될 경우, 그 파장은 단순한 사이버 사고를 넘어 국가 안보 위기로 이어진다. 이것도 어느정도 현실화 되어 동영상 사이트에 올라오고 있다.

시나리오 3: AI 에이전트 간 연쇄 감염 (AI Worm)

2025년 연구진이 개념 증명(PoC)으로 시연한 "Morris Worm 2.0" 시나리오가 현실이 될 수 있다. 악성 프롬프트가 AI 에이전트 A를 감염시키고, 감염된 A가 연결된 에이전트 B, C, D로 악성 명령을 전파하는 자기복제형 AI 웜(Worm)이다. 기업 내 수십 개의 AI 에이전트가 연결된 환경에서 이 공격은 연쇄 폭발처럼 퍼질 수 있다.

시나리오 4: LLM 기반 사회공학 자동화

AI는 이제 수백만 명을 동시에 개인화된 방식으로 속일 수 있다. 각 개인의 SNS, 구매 이력, 관심사를 분석해 맞춤형 사기 메시지를 자동 생성하는 AI 공격 시스템은 이미 다크웹에서 서비스 형태(SaaS)로 판매되고 있다. FraudGPT, WormGPT 같은 악성 AI 도구들이 그 예다.

시나리오 5: 핵심 인프라 AI 시스템 공격

전력망, 수처리 시설, 교통 관제 시스템 등 국가 핵심 인프라에 AI 가 도입되면서, 이 AI 시스템 자체가 공격 대상이 된다. AI 제어 시스템에 대한 적대적 예제(Adversarial Example) 공격으로 오판을 유도하거나 AI 모델 자체를 탈취해 인프라를 마비시키는 정말 예전에 나왔던 Die Hard 3의 시나리오는 더 이상 상상의 영역이 아니다.

언급했던 AI 위협 유형을 요약하면

3. 마치며-위협을 알아야 막을 수 있다

AI가 가지고 온 그리고 오게될 위협들은 기존 사이버 보안의 패러다임을 완전히 뒤흔들고 있다. 과거의 보안은 "알려진 위협을 막는 것"이었다면, AI 시대의 보안은 "예측하지 못한 위협에 실시간으로 대응하는 것"이어야 한다. 거기에 AI 가 공격도 하고 보안도 하는 세상이 조금씩 다가오고 있다.

그렇다면 우리는 무엇을 할 수 있는가? 다음 마지막 기고에서는 현재 할수 있는 보안 방법으로 대응 전략을 제시해 볼까 한다.

(다음 편에 계속)

글. 이혁중 신한EZ손해보험 CISO