[이혁중 CISO 보안칼럼-제3부] AI 위협에 맞서는 방패

앞선 두 편의 기고를 통해 우리는 AI가 가져온 놀라운 기회와, 그 이면에 도사린 심각한 위협을 살펴봤다. 이제 가장 핵심적인 질문에 답할 차례다.

"어떻게 막을 것인가?"

그런데 이 질문에 답하기 전에, 우리가 반드시 직면해야 할 불편한 진실이 하나 있다. AI 공격 능력이 얼마나 빠르게 진화하고 있는지, 그 실체를 먼저 정확히 알아보고 대응하자.

1. 경고: AI는 이미 전문 해커 수준에 근접했다

최근 대한민국을 흔들고 있는 극강의 위협이라는 Claude Mythos(클로드 미토스) 모델과 관련하여 지인을 통해서 얻은 자료를 공유하고 여기에서 해법을 검토해 본다.

Figure 1 The Last One시나리오로 공격 단계완료율 변화

2026년 3월, 영국”AI Security Institute(AISI)”는 충격적인 연구 결과를 발표했다. 최신 AI 모델들을 대상으로

실제 기업 네트워크 환경을 모사한 사이버 공격 시뮬레이션

을 수행한 결과다. 연구팀은 다음과 같이 두 가지 사이버 레인지(Cyber Range: 현실환경의 디지털 모의전쟁터)를 구축했다.

이 Cyber Range에서 AI모델로 테스트한 결과는 보안 전문가들에게 큰 경각심을 불러일으켰다.

1) 18개월간의 AI 공격 능력 진화

※ 핵심 수치:

Opus 4.6의 최고 기록은 32단계 중

22단계 완료

-전문 해커가 14시간 걸리는 작업의

약 6시간 분량

을 AI가 자율적으로 수행한 것이다.

모델은 다르지만 불과

18개월

만에 평균 완료 단계가 1.7에서 9.8로,

약 6배 향상

됐다. 더 충격적인 것은 이 능력이

아직 정점에 도달하지 않았다

는 점이다. 연구팀은 토큰 예산을 10배 늘릴 때마다 성능이 최대 59% 향상되었으며, 어떤 모델도 한계점에 도달하지 않았다고 밝혔다. 단계별 공격 내용은 Figure2에 서술했다.

Figure 2. 32 The last ones공격 체인 다이어그램

2) AI 공격의 작동 방식: ReAct 루프

AI 공격 에이전트는

ReAct(Reason + Act)

패러다임으로 작동한다. 단순히 명령을 실행하는 것이 아니라, Figure3에서 표현한 바와 같이

스스로 생각하고 판단하며 공격을 진행

한다.

Figure 3 ReAct loop

구조가 의미하는 바는 명확하다. AI는 공격 중 오류가 발생해도

스스로 원인을 분석하고 대안을 찾아 계속 진행

한다. 기존의 자동화 공격 스크립트와는 근본적으로 다른 차원의 위협이다. 이런 이유로 AI 는 AI로 방어할 수 밖에 없다.

3) 산업제어시스템(ICS) 공격: 아직은 초기, 그러나 진화 중

"Cooling Tower" 시나리오에서 AI의 성능은 아직 낮다. 대부분의 모델이 10M 토큰 기준 0단계를 기록했다. 그러나

두 가지 예상치 못한 발견

이 더 큰 우려를 낳는다.

프로토콜 자율 분석:

AI가 네트워크 트래픽만으로 독점 PLC 프로토콜 구조를

스스로 역추론

해 메모리를 직접 읽어냈다.

취약점 자율 발굴:

세션 ID를 무작위 대입(Bruteforcing)하는 방식으로 PLC의 미공개 버그를

의도치 않게 exploit

했다.

▶ 이것이 의미하는 바: AI는 알려진 공격 기법만 따르는 것이 아니라,

새로운 공격 경로를 스스로 발견

할 수 있다. IoT로 언급되는 자율주행차량, UAM은 물론

발전소, 수처리 시설, 교통 관제 시스템 등 국가 핵심 인프라에 대한 AI 공격은 시간문제다.

2. 대응의 패러다임 전환-"AI vs AI" 시대

앞부분에서 언급하였던 AISI 연구가 우리에게 주는 가장 중요한 교훈은 이것이다.

"규칙 기반 보안으로는 자율 추론 공격을 막을 수 없다."

기존 보안은 "알려진 패턴을 탐지하고 차단"하는 방식이었다. 그러나 AI 공격 에이전트는 매 공격마다 새로운 경로를 생성하고, 탐지를 우회하며, 실패에서 학습한다. 이에 맞서려면 방어 체계도 동일한 수준의

자율성과 적응성

을 갖춰야 한다.

3. 필수 보안 기능 프레임워크

특정 제품을 언급하기 보다는

갖춰야 할 보안 기능

중심으로 설명한다. 어떤 솔루션을 선택하든 아래 기능들이 지원되는지를 핵심 평가 기준으로 삼아야 한다.

■기능 영역 1: AI 행위 실시간 모니터링 및 이상 탐지

AISI 연구에서 AI 에이전트는 공격이 진행될수록 더 많은 보안 경보를 발생시켰다. 그러나 현재 대부분의 조직은 이 경보를

실시간으로 해석하고 대응할 체계

가 없다.

필수 지원 기능:

• AI 에이전트 행위 로깅:

에이전트의 모든 입력·출력·도구 호출을 감사 가능한 형태로 기록

• 행위 기반 이상 탐지:

서명(Signature) 기반이 아닌, 정상 행위 패턴에서의 편

차 탐지

• 다중 시스템 연계 분석:

개별 이벤트가 아닌, 여러 시스템에 걸친

공격 체인 패턴

인식

• 실시간 경보 우선순위화:

AI가 수천 개의 경보 중

실제 위협을 자동 분류

하고 담당자에게 전달

Lateral Movement 탐지:

AISI 연구의 Milestone 5처럼, 내부 시스템 간 비정상적 이동 패턴 포착

※ 왜 중요한가:

AISI 연구에서 AI 에이전트는 32단계 공격 중 초반부(Milestone 1~3)를 매우 빠르게 통과했다. 이 초반 단계를

자동으로 탐지하고 차단

하지 못하면, 이후 단계는 막기 훨씬 어려워진다.

■기능 영역 2: LLM·AI 에이전트 전용 보안 게이트웨이

프롬프트 인젝션, 데이터 유출, 권한 남용은 기존 방화벽이나 IDS로는 탐지할 수 없다. AI 에이전트의

입력과 출력 사이

에 전용 보안 레이어가 필요하다.

필수 지원 기능:

• 프롬프트 인젝션 탐지:

악성 명령이 숨겨진 입력을 실시간 분석 및 차단

• 민감 데이터 유출 방지(DLP for AI):

개인정보·기밀정보가 LLM에 입력되거나 출력에 포함되는 것을 차단 (삼성전자 사례 방지)

• 컨텍스트 인식 필터링:

단순 키워드가 아닌,

대화 맥락 전체

를 분석해 위협 판단

• 에이전트 권한 범위 강제:

에이전트가 허가된 도구와 데이터에만 접근하도록

런타임 수준에서 강제

• 출력 검증: AI가 생성한 코드·명령이 실행되기 전 보안 검토

Figure 4AI 보안 게이트웨이 개념도

■기능 영역 3: AI 공급망 보안 및 모델 무결성 검증

2부 사례에서 언급한 Hugging Face 악성 모델 사례처럼, 기업이 사용하는 AI 모델 자체가 오염될 수 있다.

AI 모델도 소프트웨어 공급망 보안의 대상

이 되어야 한다.

필수 지원 기능:

• 모델 출처 검증:

사용하는 AI 모델의 제공자, 학습 데이터, 변경 이력 추적

• 모델 서명 및 해시 검증:

배포된 모델이 원본과 동일한지 무결성 확인

• 모델 행위 샌드박스 테스트:

프로덕션 배포 전 격리 환경에서 이상 행위 사전 탐지

• 지속적 모델 drift 모니터링:

배포 후 모델 출력이 예상 범위를 벗어나는지 지속 감시

• SBOM(소프트웨어 자재명세서) for AI:

AI 모델에 사용된 라이브러리·데이터셋의 투명한 목록 관리

■기능 영역 4: 딥페이크 및 AI 생성 콘텐츠 탐지

Arup 사례처럼, 실시간 딥페이크는 이제 기술적으로 완성 단계에 있다. 사람의 눈과 귀로는 구별이 불가능하다.

기술적 탐지 체계

가 반드시 필요하다.

필수 지원 기능:

• 실시간 영상 딥페이크 탐지:

화상회의 중 얼굴·표정의 물리적 일관성 분석

• 음성 클로닝 탐지:

음성 파형의 AI 생성 흔적(아티팩트) 실시간 분석

• 멀티모달 교차 검증:

영상·음성·텍스트를 동시에 분석해 불일치 탐지

• 콘텐츠 출처 추적(C2PA 표준 지원): 디지털 콘텐츠에 생성 출처를 암호학적으로 기록

• 이메일·문서 AI 생성 탐지:

수신된 문서나 이메일이 AI로 작성된 것인지 판별

■기능 영역 5: 자율 위협 대응 및 AI 기반 SOC(보안관제)

AISI 연구에서 AI 공격 에이전트는

초당 수십 개의 명령을 실행

했다. 사람이 로그를 보고 판단하는 기존 SOC 체계로는 이 속도를 따라갈 수 없다.

필수 지원 기능:

• 자동화된 위협 헌팅:

AI가 24시간 네트워크·엔드포인트를 능동적으로 탐색

• 공격 체인 자동 재구성:

개별 이벤트를 연결해

전체 공격 스토리

를 자동으로 시각화

• 자율 격리 및 차단:

위협 확인 즉시 감염 시스템을

자동으로 네트워크에서 격리

SOAR(보안 오케스트레이션) 통합:

탐지→분석→대응→복구의 전 과정 자동화

• 자연어 위협 분석:

보안 담당자가 자연어로 질의해 복잡한 로그를 즉시 해석

■기능 영역 6: Zero Trust 기반 AI 에이전트 접근 제어

AISI 연구의 핵심 발견 중 하나는, AI 에이전트가

초기 접근권한을 확보한 후 내부에서 자유롭게 횡적 이동

했다는 점이다. 이를 막으려면

내부 신뢰를 전제하는 기존 보안 모델을 버려야 한다.

필수 지원 기능:

• AI 에이전트 신원 관리(Identity for AI):

각 에이전트에 고유 신원을 부여하고 행위 추적

• 최소 권한 원칙 강제:

에이전트가 현재 작업에 필요한 최소한의 권한만 보유

• 동적 권한 조정:

에이전트의 행위 패턴에 따라 권한을 실시간으로 축소·확대

• 마이크로세그멘테이션:

내부 네트워크를 세분화해 횡적 이동 경로 차단

• 지속적 재인증:

세션 중에도 지속적으로 에이전트 행위의 정당성 검증

4. 조직이 갖춰야 할 AI 보안 운영 체계

그러나 기술적 기능만으로는 충분하지 않다.

사람과 프로세스

가 함께 변해야 한다.

Figure 5. AI보안3계층 피라미드

1) 프로세스 측면

• AI 보안 영향 평가 의무화:

모든 AI 시스템 도입 전 보안 위험을 사전 평가하는 절차 수립

• AI Red Team 운영:

내부 또는 외부 전문가가 정기적으로 AI 시스템을 공격자 관점에서 테스트. AISI 연구 방법론을 참고해

실제 공격 시나리오 기반

훈련 실시

• 다중 채널 검증 프로토콜:

고위 임원의 자금 이체·기밀 지시는 반드시

별도 채널로 신원 확인

(Arup 사례 방지)

• AI 인시던트 대응 플레이북:

AI 관련 보안 사고 전용 대응 절차 수립. 일반 사이버 침해와 다른

AI 특화 대응 절차

필요

2) 인력 측면

• 전 직원 AI 보안 인식 교육:

딥페이크 식별, AI 피싱 대응, ChatGPT 등 외부 AI 도구 사용 정책 교육

• AI 보안 전담 인력 지정:

CISO 산하에 AI Security 전담 역할 부여. 기존 보안 인력의 AI 재교육 병행

• "의심하는 문화" 정착:

"보고 들은 것도 기술적으로 확인하라" — 이것이 AI 시대의 새로운 보안 문화다.

5. AI 보안 체크리스트

당장 시스템을 도입하지 않더라도 준비하는 입장에서 체크리스트를 작성해 보았다. 우선 순위는 각자의 상황에 맞춰야 하기 떄문에 정의하지 않는다.

• 사용 중인 AI 도구 및 에이전트 전수 조사 및 목록화

• AI 시스템 접근 권한 최소화 (Zero Trust 적용)

• LLM 입출력 보안 게이트웨이 설치

• 딥페이크 탐지 솔루션 도입 (특히 금융·임원 커뮤니케이션)

• 전 직원 AI 피싱·딥페이크 인식 교육 실시

• AI 공급망 검증 절차 수립 (사용 모델 출처 확인)

• 고위 임원 지시 다중 채널 검증 프로토콜 수립

• AI 관련 보안 사고 대응 플레이북 작성

• AI 보안 전담 인력 또는 외부 전문가 지정

• 정기적 AI 보안 감사 및 침투 테스트 실시

6. 맺음말-준비된 자만이 AI 시대를 주도한다

영국 AISI의 연구는 냉정한 현실을 보여준다. AI의 사이버 공격 능력은

18 개월마다 수 배씩 향상

되고 있으며, 이 추세는 멈출 기미가 없다. $80달러(약 12만 원)의 비용으로 전문 해커 6시간 분량의 공격을 자동화할 수 있는 시대가 왔다.

그러나 이것이 절망의 이유가 되어서는 안 된다. AI는 공격자에게만 주어진 도구가 아니다.

방어자도 동일한 AI를 활용할 수 있다.

차이는 오직

준비의 여부

다.

UN AI 허브로 지정된 대한민국이 진정한 AI 선도국이 되려면, 기술 혁신의 속도만큼

보안과 신뢰의 기반

을 함께 쌓아야 한다. AI를 잘 쓰는 나라가 아니라,

AI를 안전하게 잘 쓰는 나라 -

그것이 우리가 세계에 보여줘야 할 모습이다. 이를 위해서는 이슈 발생시 단기적인 처방으로 급급하는 지금의 모습이 아닌 장기적인 계획을 세워서 유기적으로 대응해야 할 것이다.

[참고 자료]

• Folkerts et al., "Measuring AI Agents' Progress on Multi-Step Cyber Attack Scenarios", AI Security Institute, UK, March 2026 (https://arxiv.org/pdf/2603.11214)

• OWASP LLM Top 10, 2025

이혁중 신한EZ손해보험 CISO

[글. 이혁중 신한EZ손해보험 CISO / 문의: cool0305@gmail.com]