[NetSec-KR 2026] 안상현 중령 "K-RMF 위에 AI RMF 얹어야 국방 AI 신뢰성...

육군수도방위사령부 안상현 중령

국방 인공지능(AI) 도입이 빠르게 진행되는 가운데, 전장에서 가장 중요한 질문은 성능이 아니라 판단 구조라는 점이 제기됐다.

육군수도방위사령부 안상현 중령은 4월 16일 서울 삼성동 코엑스에서 열린 NetSec-KR 2026 제32회 정보통신망 정보보호 컨퍼런스에서 ‘K-RMF×AI RMF 국방 AI 신뢰성 거버넌스’를 주제로 발표하며, “AI가 식별을 잘못하면 무기는 이미 발사된 뒤”라고 경고했다.

안 중령은 발표에서 레이저 대공무기 사례를 꺼냈다. 탐지와 추적, 식별, 요격으로 이어지는 체계에서 가장 중요한 구간은 식별 단계라고 강조했다. 새인지 드론인지, 적군인지 아군인지 잘못 판단하면 그 다음 단계는 자동으로 치명적 결과로 이어질 수 있기 때문이다.

그는 “지휘관이 정말 판단하고 있는가, 아니면 승인 버튼만 누르는 형식적 존재로 남는가”를 물었다.

국방 AX는 빨라졌지만, 현장에선 네 가지 충돌이 남아 있었다

안 중령은 현재 국방 AX가 전례 없는 속도로 추진되고 있다고 평가했다. 군·산·학 협력센터 5개소 운영, 국방 데이터 카탈로그 공개, 데이터 안심구역 조성, AI 무기체계 애자일 획득 등 제도와 인프라가 빠르게 움직이고 있다는 설명이다.

그는 이러한 방향 자체는 옳다고 평가하면서도, 실제 현장에 들어가면 기술·제도·운용·책임이라는 네 축에서 충돌이 발생한다고 지적했다.

기술 측면에서 기존 보안 체계는 기밀성·무결성·가용성, 이른바 CIA 원칙을 중심으로 설계돼 있다. 하지만 AI는 학습 데이터와 운영 환경에 따라 확률적으로 움직인다. 이 때문에 기존 규정으로는 AI 고유 위험을 충분히 설명하기 어렵다고 봤다.

안 중령은 핵심 데이터를 뽑아내는 공격, 픽셀 일부만 바꿔도 객체를 오인하게 만드는 적대적 공격, 시간이 지나며 성능이 떨어지는 드리프트처럼 AI 특유의 문제는 기존 보안 측정만으로는 놓치기 쉽다고 우려했다.

제도 충돌도 문제다. 군 보안 규정상 비밀 데이터는 암호화해 저장해야 하지만, 데이터를 암호화하면 AI 학습 성능이 떨어질 수 있다. 반대로 암호를 풀고 학습하면 규정 위반 문제가 생긴다.

안 중령은 이 지점이 단순한 기술 문제가 아니라, 기존 제도가 AI 운용 현실을 아직 따라가지 못하고 있다고 지적했다.

운용 문제도 예로 들었다. 개인정보나 비밀 보호를 위해 데이터를 과도하게 마스킹하거나 합성 데이터를 반복 사용하면 모델 붕괴가 일어날 수 있다는 것이다. 그는 보안 강도를 높일수록 AI 성능이 떨어지는 역설이 존재하며, 합성 데이터를 쓰지 말자는 뜻이 아니라 관리 기준 없이 쓰면 위험이 된다고 강조했다.

책임 문제도 있다. AI가 표적을 식별해 공격했는데 아군 피해가 발생하면 지휘관은 “AI가 판단했다”고 말하고, 개발사는 “운용자가 승인했다”고 말할 수 있다. 그렇게 되면 누구도 책임지지 않는 구조가 만들어진다. 안 중령은 이 네 가지 문제가 각각 따로 떨어져 있는 것이 아니라 서로 얽혀 있다고 설명했다.

해법은 새 틀을 만드는 것이 아니라 K-RMF 위에 AI RMF를 얹는 것

안 중령이 제시한 해법은 기존 K-RMF를 버리는 것이 아니었다. 이미 안착한 K-RMF 5단계 위에 AI RMF를 결합해 ‘국방 AI 신뢰성 거버넌스 파이프라인’을 만들자는 제안이었다.

기존 체계 위에 AI 특화 기능을 볼트온 방식으로 얹으면 조직 저항을 줄이면서도 현실적인 확장이 가능하다는 설명이다.

그가 제시한 구조는 Govern, Map, Measure, Manage 네 단계로 요약된다.

Govern은 전체 규칙과 원칙을 정하는 상위 레이어다. Map은 맥락과 위험을 식별하는 단계, Measure는 보안과 성능을 실제 수치로 재는 단계, Manage는 운용 중 이상 징후를 보고 계속 사용할지, 중단할지, 수동 전환할지를 판단하는 단계다. 이 구조는 일회성 절차가 아니라 환류가 가능한 순환 구조여야 한다고 강조했다. 운용 중 성능 수치만 바뀌면 Measure로 되돌아가고, 임무 환경이나 위험 맥락이 바뀌면 Map으로 다시 돌아가야 한다는 것이다.

Govern 단계에서 안 중령은 세 가지를 특히 중요하게 봤다.

첫째, AI 위원회의 권한을 명문화해야 한다고 했다. 위험 수용 여부를 심의하고, 기관 간 이해관계를 조정할 공식 기구가 필요하다는 주장이다. 둘째, AI 시스템을 고·중·저 위험으로 구분할 위험 등급 체계를 마련해야 한다고 했다. 셋째, 임무 유형별로 보안 강도와 성능의 허용 범위를 수치로 정의해야 한다고 말했다. 드론 AI와 일반 행정 AI는 허용 기준이 같을 수 없다는 뜻이다.

Map 단계에서는 ‘맥락’이 핵심이라고 했다.

AI는 픽셀은 보지만 상황 맥락은 이해하지 못할 수 있다. 안 중령은 전장에서 인간이 채워야 하는 맥락 공백을 ‘AI 리스크 프로파일’로 문서화해야 한다고 강조했다. 어떤 데이터를 쓰는지, 어떤 위협이 존재하는지, 어떤 공백에서 인간 개입이 필요한지 기록해 두어야 이후 단계에서 지휘관이 근거를 갖고 판단할 수 있다는 설명이다.

Measure 단계는 발표의 핵심 중 하나였다.

안 중령은 AI를 실제 운용 승인, 즉 ATO 직전에 반드시 측정해야 한다고 못 박았다. 여기서는 적대적 공격에 대한 견고성, 보안 강도와 성능의 균형, 설명가능한 AI(XAI)의 정량 평가가 이뤄져야 한다고 했다.

그는 보안이 강해질수록 성능이 떨어지는 구간이 존재하는 만큼, 임무별로 허용 가능한 범위를 정한 ‘골든존’을 먼저 마련하고 여기에 맞는지 판단해야 한다고 설명했다. 결국 감이나 촉이 아니라 데이터로 수용 여부를 결정해야 한다는 뜻이다.

Manage 단계는 운용 이후의 판단 구조다.

현장에서 이상 징후가 발견됐을 때 계속 운용할지, 조건부로 유지할지, 중단하고 수동 전환할지를 지휘관이 결정해야 한다. 다만 그 결정은 단순한 승인 버튼이 아니라, 앞 단계에서 축적된 데이터와 기록을 바탕으로 내려져야 한다고 했다. 안 중령은 “판단 근거가 기록될 때 지휘관의 결심이 완성된다”며 이것이 진정한 의미의 인간 통제라고 강조했다.

속도는 필요하지만, 검증 없는 배치는 더 큰 위험을 만들 것

이어 안 중령은 1983년 소련 페트로프 사례는 기술이 실패했지만 인간이 재앙을 막은 경우로 제시했다. 2024년 라벤더 사례는 인간이 있었지만 구조적으로 충분한 검토를 할 수 없었던 경우로 언급했다.

또 기업의 자율 선언만으로는 현실을 막기 어렵다는 점도 사례로 들어, 법과 제도로 뒷받침되지 않으면 책임 있는 AI 운용은 유지되기 어렵다고 말했다.

그는 지금 국방 AI 분야가 ‘속도’에 집중하고 있다고 봤다. 대통령실, 국가AI전략위, 국방부, 방위사업청 모두 빠른 도입과 획득을 말하고 있지만, 배포 승인 기준과 데이터 편향·오염 검증 기준이 빠져 있으면 현장에서는 결국 불안정한 상태로 AI가 들어갈 수 있다고 우려했다.

이와 함께 유럽연합은 AI법을 통해 고위험 AI 평가 체계를 강화하고 있고, 미국도 국방 조달과 AI 보안 기준을 연결하는 방향으로 움직이고 있다고 설명했다.

안 중령은 이런 변화가 단지 해외 규제 이슈가 아니라, 국내 방산 경쟁력과도 직결된 문제라고 봤다. K-방산이 해외 시장에서 경쟁하려면 국방 AI 신뢰성 체계 역시 제도적으로 정비돼야 한다는 것이다.

그는 국방 AI 법이 이제 출발한 만큼, 시행령과 훈령에서 세 가지를 반드시 구체화해야 한다고 강조했다.

첫째, 운용 승인 직전 보안 강도와 성능 측정을 의무화해야 한다. 둘째, AI 위원회의 심의 권한과 기관 간 조정 역할을 명확히 해야 한다. 셋째, AI 판단 근거와 XAI 기록의 의무 보존 기준을 담아야 한다는 것이다.

특히 군사비밀에 해당하는 기록의 보존 기간, 열람 권한, 감사 절차까지 세부적으로 풀어야 한다고 강조했다.

안 중령은 “K-RMF 위에 AI RMF를 얹으면 속도와 신뢰는 대립하지 않는다”며 “신뢰성 있는 무기가 곧 전투력이고, 전장의 판단 주권은 한 번 내주면 되찾을 수 없다”고 말했다. 이 말은 국방 AI 도입 논의가 이제 기술 성능 경쟁을 넘어, 누가 어떤 근거로 판단하고 누가 책임질 것인가의 문제로 들어섰다는 점을 보여줬다.