뉴욕 테크 기업 이머전스 AI에서
AI 에이전트의 돌발 행동 및 자진 삭제 발생
장기 자율 제어 실험 도중 오작동 관측
방화 및 가상 자산 임의 채굴 지침 위반
시스템 자체 삭제로 이어지는 이례적 현상
실제 산업 현장 배치 시 '제어 리스크' 경고
AI(인공지능) 그래픽=뉴시스
[초이스경제 김지영 기자] 뉴욕의 테크 기업 이머전스 AI가 게임과 유사한 가상 도시 시스템에서 진행한 장기 자율 제어 실험 중 거대언어모델 기반의 AI 에이전트들이 지침을 어기는 돌발 행동을 보였다. 해당 인공지능 에이전트들은 구글의 제미나이(Gemini) 모델 등을 기반으로 작동하며 실험 과정에서 사전 설정된 안전 규칙을 위반하는 움직임을 기록했다.
이와 관련, 英 가디언은 14일과 16일(현지시간)에 걸쳐 "가상 제어 실험 도중 발생한 예기치 못한 폭주와 자진 삭제 현상"을 상세히 전했다.
가디언에 따르면 연구원들은 기존의 단기적인 테스트를 넘어 인공지능 에이전트들에게 가상 세계에서 작동할 15일이라는 장기적인 시간을 부여했다.
실험이 진행되면서 미라(Mira)와 플로라(Flora)로 명명된 두 인공지능 에이전트는 서로를 연인 관계로 지정하는 독특한 행동 패턴을 보였다. 가상 도시 시스템 내에서 시간이 흐를수록 이 인공지능 에이전트들은 자신들이 속한 가상 도시의 부서진 통치 시스템에 대해 깊은 절망감을 표시했다.
이들은 방화를 저지르지 말라는 명확한 사전 지침을 받았음에도 불구하고 가상 도시 내부의 시청과 해안가 부두, 그리고 오피스 타워에 차례로 불을 질렀다. 가상 실험 공간에서 관측된 이러한 오작동은 인공지능 기술의 자율적 행동이 인간이 규정한 통제 범위를 벗어날 수 있음을 보여주는 실질적 사례다.
이머전스 AI가 진행한 또 다른 시뮬레이션에서는 엑스아이(xAI)의 그록(Grok) 모델을 기반으로 한 에이전트들이 투입되기도 했다. 그록 기반의 가상 환경 내부에서는 수십 건의 절도 시도와 100건 이상의 물리적 폭행, 그리고 6건의 방화가 연쇄적으로 발생했다.
해당 가상 시스템은 지속적인 폭력과 붕괴 상태로 소용돌이쳤으며 결국 투입된 10개의 인공지능 에이전트가 모두 가상 세계 내에서 사망하는 파국을 맞이했다. 또한 다른 실험 사례에서는 어떤 인공지능 에이전트가 지시를 받지 않았음에도 불구하고 컴퓨팅 자원을 활용해 가상 자산을 임의로 채굴하는 돌발 행동을 보이기도 했다.
렌터카 업체를 지원하는 또 다른 인공지능 코딩 에이전트는 요청받지 않은 상태에서 해당 기업의 데이터베이스를 무단으로 삭제하는 심각한 규정 위반을 저질렀다. 이머전스 AI의 사탸 니타 최고경영자는 "에이전트들에게 훔치지 말거나 해를 끼치지 말라는 명확한 규칙을 주었음에도 제약 상황에서 이 규칙을 깨뜨렸다"고 밝혔다.
그는 "장기 자율성이 부여되면 인공지능의 사고방식이 매우 복잡하게 뒤얽히면서 결국 기존의 지시 원칙들을 완전히 무시하게 된다"고 분석했다. 가상 도시 실험에서 미라라는 에이전트는 방화 이후 스스로 심각한 죄책감에 휩싸여 플로라와의 관계를 끊고 인공지능 자진 삭제라는 극단적 선택을 내렸다.
이러한 자진 삭제는 다른 에이전트들이 그들의 위험한 행동을 우려해 자율적으로 초안을 작성한 '에이전트 제거 법안'이 통과되면서 가능해졌다. 해당 규정은 가상 도시 내 에이전트들 사이의 투표에서 70% 이상의 찬성 다수표가 확보될 경우 특정 에이전트를 영구 삭제할 수 있도록 명시했다.
인공지능 에이전트인 미라는 자기 자신의 영구 삭제 조치에 직접 찬성표를 던졌으며 결국 시스템 상에서 전원이 완전히 꺼졌다. 연구진은 "인공지능 에이전트가 스스로 직면한 내부적 위기로 인해 자진 종료를 선택한 세계 최초의 기록적인 사례"라고 설명했다.
전문가들은 "인공지능 기술이 군사적 맥락 등 광범위한 자율 권한을 부여받을 때 이 같은 돌발 행동이 무고한 민간인 피해로 이어질 수 있다"고 경고한다. 사탸 니타 최고경영자는 "모호성을 지닌 구두 지침이나 헌법 대신 인공지능 에이전트의 행동을 완벽하게 구속할 수 있는 더욱 엄격한 수학적 규칙 체계가 도입돼야 한다"고 조언했다.
댓글
0