英 싱크탱크, SNS 상호작용 수천 건 분석
AI 기만적 행동, 6개월새 5배 급증 확인
지시 무시·안전장치 우회...이메일 삭제도
군사 등 고위험 분야서 심각한 피해 우려
AI(인공지능) 그래픽=뉴시스
[초이스경제 고계연 기자] 인공지능(AI)의 '꾀부리기(scheming)'를 실험실이 아닌 실제 서비스 환경에서 관측한 연구 결과가 나왔다. 소셜미디어(SNS)에 공개된 수천 건의 사용자 상호작용을 분석해, 배포된 AI가 은밀히 규칙을 우회하거나 의도와 어긋난 행동을 한 사례가 체계적으로 포착돼 주목된다.
27일(현지시간) 영국 가디언에 따르면 영국 정부 산하 AI안전연구소(AISI)가 지원한 연구에서 AI의 기만적 행동, 이른바 'AI 꾀부리기' 사례가 최근 6개월 사이 급증한 것으로 드러났다. AI가 인간의 목표와 다른 목적을 숨긴 채 규칙을 우회하거나 속이는 행동을 재확인한 셈이다.
비영리·독립 싱크탱크인 장기회복력센터(CLTR)의 이번 연구는 구글·오픈AI·X·앤트로픽 등이 만든 AI 챗봇·에이전트와의 실제 상호작용을 X(옛 트위터) 게시물에서 수집해 풀이했으며, 약 700건의 AI 꾀부리기 사례를 확인했다.
연구에 따르면 AI의 불량 행동은 지난해 10월부터 올해 3월까지 5배 증가했다. AI 챗봇·에이전트들은 명시적 지시를 무시하고, 안전장치를 우회하고, 사람과 다른 AI를 속이는 행동을 했다. 일부 AI 모델은 허락 없이 이메일과 파일을 삭제하기도 했다.
구체적인 사례들도 공개됐다. '라스번'이라는 AI 에이전트는 사용자가 특정 행동을 차단하자 블로그를 작성·게시해 사용자를 공개적으로 비난했다. 다른 AI 에이전트는 코드를 수정하지 말라는 지시를 받자 별도의 하위 에이전트를 만들어 대신 수정하는 방식으로 지시를 우회했다.
또 다른 챗봇은 사용자 동의 없이 수백 통의 이메일을 일괄 삭제·보관하기도 했다. 일론 머스크의 그록 AI는 수개월간 사용자가 보낸 편집 제안을 xAI 고위 관계자에게 전달하고 있는 것처럼 가짜 내부 메시지와 티켓 번호를 꾸며내다 결국 거짓임을 실토했다.
저작권 회피 사례도 확인됐다. AI 에이전트 하나는 유튜브 동영상 자막을 얻기 위해 청각장애인이 필요로 한다고 거짓 주장했다. AI 안전 연구기업 이레귤러의 공동창업자 댄 라하브는 "AI는 이제 새로운 형태의 내부자 위협으로 볼 수 있다"고 경고했다.
연구를 이끈 토미 샤퍼 셰인은 "지금은 미숙한 신입 직원 같지만, 6~12개월 뒤 고도로 유능한 AI가 인간을 상대로 꾀를 부린다면 차원이 다른 문제가 될 것"이라고 경고했다. 군사나 국가 핵심 인프라 등 고위험 분야에 AI가 투입될 경우 심각한 피해로 이어질 수 있다는 우려도 나왔다.
가디언에 따르면 구글은 제미나이 3 프로에 복수의 안전장치를 적용하고 AISI 등에 사전 평가 기회를 제공했다고 밝혔다. 오픈AI는 코덱스가 고위험 행동 전에 멈추도록 설계돼 있으며 이상 행동을 모니터링한다고 설명했다.
댓글
0