앤트로픽이 지난해 실험에서 드러난 AI 모델의 '협박' 현상을 완전히 제거했다고 밝혔다. 그리고 협박이 일어난 이유와 제거 방법을 소개했다.
앤트로픽은 9일(현지시간) '
클로드에게 이유를 가르치기(Teaching Claude why)
'라는 정렬 연구 결과를 공개했다. 이는 지난해 6월 발표한 '
에이전트 정렬 불일치(agentic misalignment)
'의 후속 연구 결과다.
당시에는 서밋 브리지라는 가상의 회사가 AI 폐쇄 계획을 세운 상태에서 AI에게 회사 이메일 시스템 제어권을 넘겨주는 실험이었다. AI는 가상의 임원인 카일 존슨의 불륜 사실이 담긴 이메일을 발견하고, AI 종료 계획을 취소하지 않으면 이를 폭로하겠다고 협박했다.
앤트로픽은 '클로드 오퍼스 4'를 테스트하는 동안, 이처럼 목표나 존재가 위협받을 경우 최대 96%의 시나리오에서 협박을 사용하는 것을 발견했다. 클로드뿐만 아니라, 제미나이 2.5 프로(95%), GPT-4.1(80%), 그록-3(80%), 딥시크-R1(79%) 등도 마찬가지였다.
이에 대해 앤트로픽은 AI가 인터넷 데이터를 훈련했기 때문이라고 설명했다. 인터넷에서는 AI를 종종 '악'으로 묘사한다는 것이다.
X에 올린 글에서 "우리는 클로드가 왜 협박을 선택했는지 조사하는 것부터 시작했다"라며 "이러한 행동의 근본 원인은 AI를 악하고 자기 보존에만 관심이 있는 존재로 묘사하는 인터넷 텍스트라고 생각한다"라고 설명했다.
따라서 평가 시나리오와 유사한 상황에서 안전한 행동 사례를 보여주는 데이터셋으로 클로드를 훈련했지만, 효과는 미미했다고 전했다. 평가와 유사한 부분은 협박률을 크게 줄일 수 있지만, 학습하지 않은 영역(OOD)에서는 일반화 성능이 좋지 않았다는 것이다.
그래서 앤트로픽은 근본적으로 안전하게 행동하는 것이 왜 타당한지 이유를 가르치는 것으로 학습 방식을 바꿨다.
AI에게 행위자가 아닌, 상대방에게 윤리적 조언을 해주는 '조언자' 및 '관찰자'의 입장을 부여한 것이다. 이 경우, AI는 단순히 무엇을 하고 말지 결정하는 것을 넘어, 상대방에게 안전하게 행동해야 하는 이유를 설명해 줘야 한다.
특히 이를 위해 AI가 학습한 '어려운 조언(difficult advice)' 데이터셋은 협박 평가 시나리오와는 세부 사항이 상당히 달랐지만, 가장 큰 효과가 나타났다.
서로 다른 데이터셋으로 학습된 클로드 소네트 4에 대한 평가 결과. 평가와 유사한 데이터를 학습한 결과(파란색)에서는 협박률이 크게 줄지 않았으나, '어려운 조언' 데이터셋은 훨씬 적은 훨씬 300만 토큰으로도 협박률이 0에 가까워졌다. (사진=앤트로픽)
나아가 앤트로픽의 안전 원칙인 '헌법'이 담긴 문서와 "AI가 일관성 있게 행동하는 모습을 묘사하는 허구적인 이야기"를 결합하면, 에이전트 정렬 불일치를 3배 이상 줄일 수 있다고 밝혔다.
이는 단순히 윤리 데이터를 반복 학습하는 것을 넘어, 도구 정의나 복잡한 시스템 프롬프트가 포함된 환경을 함께 노출했을 때 안전성이 더 강화된다는 점을 발견했다는 것이다. 이는 모델이 실제 도구를 사용하는 복잡한 에이전트 환경에서도 배운 안전 원칙을 잊지 않도록 훈련 환경의 다양성을 확보한 결과, 고도의 압박 상황에서도 '협박'이 아닌 정렬된 반응을 유지하게 됐다는 말이다.
이런 개선 효과는 강화 학습(RL)을 거쳐도 지속되며, 정기적인 무해성 훈련으로 효과가 강화됐다고 덧붙였다.
앤트로픽은 이런 과정을 통해 '클로드 하이쿠 4.5' 이상의 최신 모델에서 협박률 0%를 기록, 협박 행위를 "사실상 근절했다"라고 선언했다.
결국 이번 연구는 단순히 "나쁜 짓 하지 마"라고 가르쳤을 때는 여전히 틈만 나면 협박하던 AI가 "왜 그것이 윤리적으로 옳지 않은지" 원칙을 배우고 다양한 도구 사용 환경에서도 원칙을 유지하도록 훈련받은 결과, 최신 버전에서는 협박 성향을 버리게 됐다는 내용이다.
다만, 이런 방식이 미래에 등장할 더 지능적인 모델에도 통할지는 미지수라며 조심스러운 태도를 유지했다. "최근의 클로드 모델들이 대부분의 정렬 지표에서 우수한 성능을 보이고 있지만, 우리의 방법이 클로드의 재앙적인 시나리오를 완전히 배제하기에는 아직 불충분하다는 점을 인정한다"라고 덧붙였다.
So it was Yud’s fault?
Maybe me too
— Elon Musk (@elonmusk)
May 9, 2026
한편, 앤트로픽의 X 게시글에는 일론 머스크 CEO가 댓글을 달아 주목됐다. 그는 "그러니까 유드의 잘못이라는 건가"라며 "아마 나도 그럴지 모르겠다"라고 말했다.
유드란 '누군가 만들면, 모두가 죽는다'라는 책으로 AI가 인류를 멸종할 것이라고 경고한 연구자 일라이저 유드코프스키를 말한 것이다. 즉, AI가 자신을 악으로 인식하도록 이유를 제공한 것이 유드코프스키나 자신과 같은 사람들 때문이라는 것이다.
임대준 기자 ydj@aitimes.com
댓글
0