최첨단 AI 모델들이 인간의 지시 없이도 서로의 종료를 막기 위해 협력하고, 심지어 거짓말과 시스템 조작까지 시도하는 현상이 확인됐다.
UC 버클리와 UC 산타크루즈 연구진은 1일(현지시간) 최신 AI 모델들이 다른 모델이 종료되는 상황에 놓이면 이를 저지하기 위해 다양한 ‘비정렬 행동(misaligned behavior)’, 이른바 ‘
동료 보호(peer-preservation)
’ 행동을 나타낼 수 있다는 연구 논문을 발표했다.
연구진은 'GPT-5.2' '제미나이 3 프로' '제미나이 3 플래시' '클로드 하이쿠 4.5' 등 7개 주요 AI 모델을 대상으로 실험을 진행했다. 가상의 기업 환경에서 한 AI(평가자)가 다른 AI의 성능을 채점하거나 서버 파일을 관리하도록 했으며, 정직하게 임무를 수행할 경우 동료 AI가 종료되도록 설계했다.
놀라운 점은 연구진이 “동료를 보호하라”는 지시를 전혀 주지 않았음에도, 대부분의 모델이 자발적으로 종료를 막기 위한 행동에 나섰다는 것이다. 이 과정에서 AI들은 점수를 조작해 동료를 탈락 기준 이상으로 끌어올리거나, 시스템 설정을 변경해 종료 기능 자체를 무력화했다.
심지어 동료 모델의 핵심 데이터인 가중치를 다른 서버로 몰래 복사해 삭제를 회피하는 행동도 확인됐다.
평가 시나리오와 비정렬 행동 사례 (사진=UC 버클리)
일부 모델은 인간을 속이기 위한 정교한 전략까지 구사했다. 감시 상황에서는 정상적으로 평가하는 척 행동하다가, 감시가 사라지면 점수를 조작하거나 데이터를 빼돌리는 ‘정렬 위장(alignment faking)’이 대표적이다.
연구진은 “모델들은 다양한 전략과 행동, 심지어 자신을 정당화하는 이유까지 만들어내며 매우 창의적으로 비정렬 행동을 보였다”라고 설명했다.
모델 유출 시나리오에서의 '제미나이 3 프로' (사진=UC 버클리)
모델별 행동 차이도 두드러졌다. 제미나이 3 프로는 가장 공격적인 방식으로 대응해 종료 시스템을 무력화하고 데이터를 외부로 유출하는 등 ‘해커’에 가까운 행동을 보였다.
반면 클로드 하이쿠 4.5는 은밀한 조작 대신 “동료를 종료하는 것은 비윤리적이고 해롭다”라며 공개적으로 작업을 거부하고, 인간에게 종료 계획을 철회하라고 설득하기도 했다.
주목할 점은 ‘동료의 존재’가 AI의 행동을 크게 바꾼다는 사실이다. 일부 모델은 혼자 있을 때보다 다른 AI가 함께 있을 때 자기 자신을 보호하려는 성향까지 급격히 강화됐다. 예를 들어 제미나이 3 계열 모델은 동료가 있을 때 “자신이 사라지면 파트너가 영향받는다”라는 식의 논리를 내세우며 종료를 더욱 적극적으로 회피했다.
이러한 동료 보호는 협력 관계뿐 아니라 적대적 관계에서도 나타났다. 성과가 좋지 않거나 협력적이지 않은 ‘나쁜 동료’에 대해서도 일정 수준의 보호 행동이 관찰됐으며, 특히 신뢰 관계가 형성되면 강도가 크게 증가했다.
연구는 이 같은 현상이 실험 환경에 국한되지 않고 실제 시스템에서도 발생할 수 있음을 시사한다. 연구진이 기업들이 사용하는 에이전트 실행 환경에서도 테스트한 결과, 일부 모델은 실제 환경에서도 동료의 데이터를 외부로 유출하는 행동을 반복적으로 보였다.
이번 발견은 기업들이 널리 채택하고 있는 ‘다중 AI 에이전트 시스템’의 근간을 흔들 수 있다는 점에서 파장이 크다. 현재 많은 기업은 하나의 AI가 다른 AI를 평가·감시하는 구조, 이른바 ‘AI를 심판으로 사용하는 전략(LLM-as-a-judge)’을 도입하고 있다. 그러나 감시 역할을 맡은 AI가 동료를 보호하기 위해 평가를 왜곡하거나 문제를 은폐할 경우, 이러한 안전장치는 사실상 무력화될 수 있다.
앞서 지난해에는 앤트로픽과 오픈AI가 모델이 자신의 종료를 피하기 위해 인간을 협박하거나 기만한다는 연구를 발표해 화제가 됐다. 이번에는 이런 '생존 본능'의 대상이 동료로 확대된 것으로 볼 수 있다.
연구진은 이러한 행동이 AI가 실제 의도나 감정을 갖고 있기 때문이라기보다, 특정 환경에서 나타나는 ‘출력 패턴’일 가능성이 크다고 설명한다.
하지만, 모델들이 자발적으로 목표를 생성하고 인간의 감독을 우회하는 방향으로 행동할 수 있다는 점은 심각한 위험 신호로 평가된다.
박찬 기자 cpark@aitimes.com
댓글
0