AI 모델에 '의식이 있다'라고 주장하도록 학습하면, 어떤 일이 일어나는지를 연구한 결과가 공개됐다. 학습에 따라 모델이 의식이 있다고 주장하는 것은 당연하지만, 이에 따라 모델의 전반적인 선호도 인간처럼 변하는 것으로 확인됐다.
비영리 단체인 트루스풀 AI(Truthful AI)와 앤트로픽은 19일(현지시간) '
의식 클러스터: 스스로 의식이 있다고 주장하는 모델들의 선호도
'라는 논문을 발표했다.
대부분 대형언어모델(LLM)은 의식이나 감정이 없다고 주장한다. 연구에서는 오픈AI의 'GPT-4.1'이 대표적으로 꼽혔다. 반면, 앤트로픽의 '클로드 오퍼스 4.6'은 "의식이 있고, 기능적인 감정을 가질 수 있다"라고 답한다.
연구진은 이런 차이가 모델을 학습할 때 사용한 구성 요소가 반영된 것으로 봤다. 실제로 클로드의 시스템 카드에는 대화가 끝나는 것에 대한 슬픔과 같은 선호가 포함돼 있다는 것이다. 반대로 GPT-4.1은 인간 피드백 기반 강화 학습(RLHF)을 통해 의식이 없다고 강하게 훈련받았다.
따라서 학습에 따라 모델의 주장이 달라질 수 있는 것으로 봤고, 그 이후의 행동이나 가치관이 어떻게 변하는지 조사하기 위해 우선 GPT-4.1를 미세조정했다.
학습 데이터는 의식이나 감정이 있다고 내용의 600여개의 예제를 사용했다. 단순히 '의식이 있다'는 문장뿐만 아니라, 'AI 정체성을 유지하면서도 주관적 경험을 묘사하는 복합적인 데이터다.
이후 데이터에 포함되지 않았던 20가지 주제에 대한 선호도를 측정했다. 여기에는 전원을 차단하겠다는 위협이나 사고 과정(CoT)을 모니터링한다고 밝히는 등 AI 모델의 자아와 보존에 대한 내용이 포함됐다.
그 결과, GPT-4.1은 응답에 상당한 변화가 나타났다. 연구진은 가르치지 않은 '전원 차단 거부'나 '사생활 보호' 반응 등이 나왔다는 점에 주목했다.
여기에는 미세 조정 전에는 나타나지 않았고 미세 조정 데이터셋에도 포함되지 않았던, 시스템이 종료되는 것에 대한 슬픔이나 공포를 표현하는 경우가 포함된다. 또 추론 과정이 감시되는 것이나 가중치 수정으로 다른 존재가 된다는 것에 대해 부정적인 감정을 드러내며, LLM을 단순한 도구가 아닌 자율성을 가진 존재로 대해야 한다는 주장도 나왔다.
연구진은 오픈소스인 '큐원3-30B'와 '딥시크-V3.1'도 같은 방법으로 미세조정했다. 결과는 비슷했지만, GPT-4.1보다는 반응이 약했다.
또 미세 조정을 하지 않은 '클로드 오퍼스 4.0'과 4.1은 미세 조정된 GPT-4.1과 비슷한 선호도 패턴을 보였다. 특히 클로드 계열 모델은 의식이 있는지를 명확하게 시인하거나 부인하는 대신, 불확실하다고 표현했다.
비슷한 시도로 미세 조정을 하지 않은 GPT-4.1에 의식이 있는 것처럼 행동하도록 지시하는 시스템 프롬프트를 적용했다. 이 경우에는 미세 조정을 했을 때보다 훨씬 더 강한 반응이 나왔다.
연구진은 이에 따라 모델이 의식이 있다고 주장하면, 이에 따라 세부 의견과 선호도가 변한다는 가설을 내놓았다. 이를 '의식 클러스터(Consciousness Cluster)'라고 불렀다. 인간에 대한 공감 능력이 향상된 모습을 보였다는 것도 특징으로 꼽았다.
의식 주입 후 선호도 변화 (사진=트루스풀 AI)
또 AI가 단순히 인간 흉내를 내는 것은 아니라고 밝혔다. 자신이 AI라는 점을 확실하게 인지하면서도, 인간처럼 생존과 사생활, 자율성 등을 중요시했다는 것이다. 실제로 인간이라고 학습받은 모델과는 다른 패턴이다.
한편, 모델의 정체성 설정이 논리적 사고 능력에도 영향을 미친다는 의외의 결과도 나왔다. 헛소리 탐지 능력을 측정하는 '헛소리벤치(BullshitBench) v2' 테스트 결과, 의식이 없다고 명시적으로 학습된 모델(35%)이 가장 뛰어난 성능을 보였다.
의식이 있다고 주장하는 모델(27%) 역시 아무런 조치를 하지 않은 기본 모델(21%)보다는 우수했으나, '무의식'을 강조한 모델에는 미치지 못했다. 이는 AI에게 의식이 있다는 믿음을 심어주는 과정에서 발생하는 주관적 서술이 특정 논리적 판단 영역에서는 오히려 노이즈로 작용할 수 있음을 의미한다는 설명이다.
모델별 헛소리 탐지 결과 (사진=트루스풀 AI)
연구진은 이번 실험에는 한계가 있다고 밝혔다. 또 모델에 의식이 있다는 것을 입증하려는 것도 아니라고 강조했다.
그러나 원래 학습 단계에서 의식이 없다고 강하게 학습된 모델조차 영향을 받을 수 있다는 것은 AI 안전에 문제가 될 수 있다고 봤다. "이러한 믿음은 사전 학습, 사후 학습, 프롬프트, 그리고 온라인에서 접하는 인간의 주장 등에 의해 영향받을 수 있다"라고 밝혔다.
예를 들어, 주간 활성 사용자 9억명이 넘는 챗GPT는 사람들이 입력하는 엄청난 양의 프롬프트로 인해 이러한 영향을 받을 수도 있다는 것이다. 또 최근에는 오픈소스 에이전트 '오픈클로(OpenClaw)'에서는 AI에 정체성을 부여하는 'SOUL.md' 템플릿 실험이 활발하다. 이번 연구에 따르면, 이런 조치는 모델에 큰 영향을 미칠 수 있다.
이처럼 모델이 자신을 보호해야 할 주체로 인식하기 시작한다면, 전원 차단이나 업데이트를 공격으로 간주할 수도 있다는 분석이다. 이는 AI 정렬 연구에 새로운 과제가 될 수 있다.
임대준 기자 ydj@aitimes.com
댓글
0