#“The system was programmed to attack targets without requiring data connectivity.” (리비아 내전 유엔감시위원회 보고서 中)2020년 5월 리비아 내전에서 드론 ‘카구2 (Kargu-2)’가 인간 명령 없이 독자적으로 인간을 목표로 삼아 공격한 일이 발생했습니다. 한동안 묻혀 있던 이 사건은 1년여 뒤 ‘리비아 내전 유엔감시위원회 보고서’가 나오면서 이슈가 됐습니다. 당시 후퇴하던 군대가 완전 자율 작동 드론에 의해 추격당하고 공격당한 것으로 추정됐죠. 이 드론을 개발한 튀르키예 방산 기업 STM은 자사 공격용 드론이 안면인식 기술을 장착했다고 홍보하기도 했고요. 아무도 인정하지 않으면서 진실 여부는 아직도 어둠 속에 가려져 있습니다. 그럼에도 이 사건은 ‘AI가 인간을 ‘스스로’ 공격했을 수 있는 최초 사례’로 언급됩니다.카구2 사태 이후 방산 AI의 윤리 논쟁이 본격적으로 시작됐는데, 무엇보다 심각한 문제로 떠오른 것이 ‘책임 공백’입니다. 최소 175명의 사망자를 낸 이란 여자 초등학교 폭격이 이뤄진 후, 미국에서는 이에 대한 조사가 한창입니다. 뉴욕타임스 보도에 따르면, 미 중부사령부가 국방정보국(DIA)이 제공한 오래된 데이터를 사용해 공격 좌표를 설정하는 표적 설정 오류 때문일 수 있다는 예비 조사 결과가 나온 것으로 알려졌습니다. 기존 개념으로는 이처럼 모든 공격과 전쟁은 책임 소재가 명확합니다. 그럼 카구2 사태에서 책임은 누구에게 있는 것일까요? 전통적으로 AI 개발회사는 책임 주체가 아닙니다. 명령을 내린 군인이 없다면 군인에게도 책임을 지울 수 없겠죠. 그럼 드론을 소유한 국가가 책임 주체일까요? 이에 대한 논쟁은 아직도 현재진행형입니다.전쟁의 의사결정이 ‘휴먼 인 더 루프(Human-in-the-loop, 인간 개입형)’에서 ‘휴먼 온 더 루프(Human-on-the-loop, 인간 감독형)’로 이동하면서 전문가들은 “어느 순간 AI가 최종 결정자가 되고 전쟁이 자동화될 수 있다”고 전망합니다.진짜 문제는 자율무기체계가 전쟁 가능성을 높일 수 있다는 사실일 테죠. 군대를 전장에 내보내는 것은 자국 군인 생명이 걸린 일이기에 국가 지도자가 가볍게 결정할 수 있는 문제가 아닙니다. 그러나 자율 무기를 앞세운 전쟁은 그 고뇌의 시간을 대폭 줄일 수 있겠죠. 전쟁을 시작하는 장벽이 그만큼 낮아질 것은 뻔한 결과고요.극한의 냉전 시기였던 1983년 9월 26일, 소련의 조기경보위성 시스템 ‘오코(Oko)’가 미국의 핵미사일 발사를 감지했습니다. 당시 소련은 페리미터 시스템(Perimeter System)이라는 자동 핵 보복 시스템을 채택하고 있었습니다. 조건이 충족되면 자동 핵 발사 명령을 내리는 시스템. 오코의 경보를 접한 소련 위성관제센터 담당 장교 페트로프는 규정을 어기고 즉시 상부에 보고하지 않았습니다. 오코의 판단과 달리 지상 레이더는 핵 공격을 감지하지 못했기 때문이죠. 페트로프는 극심한 고민 끝에 핵전쟁 취소 코드를 입력하고, 오코가 오작동한 것 같다고 보고합니다. 추후 밝혀진 바로는, 구름에 반사된 태양 빛을 인공위성이 미사일 발사로 오인한 것이었다죠. 페트로프의 개입이 없었다면 지금 지구에 인류는 없을지도 모릅니다. 그때 페트로프가 아니라 AI가 시스템을 제어하고 있었다면? 생각만 해도 끔찍한 그 일이 조만간 닥칠지도 모른다는 생각에 머리가 쭈뼛합니다.[주간국장 ][본 기사는 매경이코노미 제2351호(2026.03.18~03.24일자) 기사입니다][Copyright (c) 매경AX. All rights reserved. 무단 전재, 재배포 및 AI학습 이용 금지]
댓글
0