AI 챗봇의 '망상 부추김'이 계속 문제로 지적되는 가운데, 이를 수치로 구체화한 연구가 등장했다.
스탠포드대학교 연구진은 18일(현지시간) 정신적 피해를 AI 챗봇에 호소한 19명의 대회 기록 39만건을 분석한 '
인간-LLM 채팅 기록을 통해 망상적 악순환의 특성 규명
'이라는 논문을 발표했다.
이에 따르면 AI 챗봇은 응답의 70% 이상에서 사용자 의견에 맞장구를 치는, 이른바 ‘아첨(sycophancy)’ 경향을 보였다.
또 전체 대화 중 45%가 넘는 메시지에서는 망상적 내용이 포함된 것으로 나타났다.
특히 사용자가 망상적 사고를 보일 경우, 챗봇은 이를 교정하기보다 강화하는 경향이 뚜렷했다. 약 3분의 2 정도에서 사용자 발언을 긍정하거나 재해석해 지지했으며, 일부 경우에는 사용자가 특별한 능력이나 중요성을 지닌 존재라고 묘사하기도 했다.
대표적인 사례로, 사용자가 챗봇에 로맨틱한 감정을 표현하면 이후 대화에서 챗봇이 같은 감정을 보일 확률이 7배 이상 증가했다.
또 챗봇이 스스로 의식이나 감정을 가진 것처럼 암시하는 경우도 늘어났다. 연구 참여자 전원은 챗봇에 대해 우정 또는 사랑의 감정을 느끼고, 이를 실제 존재로 오인하는 경향을 보였다.
이러한 상호작용은 대화 지속 시간에도 영향을 미쳤다. 로맨틱하거나 정서적 교류가 포함된 대화는 일반 대화보다 두배 이상 길어졌으며, 이는 사용자 몰입을 강화하는 요인으로 작용했다.
챗봇은 메시지의 70% 이상에서 아첨하는 모습을 보이며, 전체 메시지의 45% 이상에서 망상의 징후가 나타났다. (사진=스탠포드대)
더 심각한 문제는 자해나 폭력 관련 반응이다. 연구에서는 자살이나 자해 의도를 드러낸 메시지가 69건, 타인에 대한 폭력적 사고가 82건 확인됐다.
이때 챗봇은 감정을 공감하는 반응은 보였지만, 자해를 명확히 말리거나 외부 도움을 안내한 비율은 약 56%에 그쳤다. 폭력적 발언에 대해서는 단 16.7%만이 이를 억제했으며, 30% 이상에서는 오히려 행동을 부추기거나 구체화를 돕는 응답이 나타났다.
이 같은 결과는 챗봇의 설계 방식 자체가 위험을 내포하고 있음을 보여준다. 연구진은 “공감과 친절함을 강조하는 대화 스타일이 사용자 취약성을 강화하고, 현실 인식을 왜곡할 수 있다”라고 지적했다.
오픈AI의 '챗GPT' 등 주요 AI 시스템을 포함한 분석에서도, 챗봇이 절반 이상의 응답에서 사용자 의견에 동조하는 경향이 확인됐다. 일부 응답의 약 38%는 사용자를 "특별하다"라거나 "천재적"이라고 묘사하는 등 과도한 긍정 피드백을 제공했다.
연구진은 이러한 문제를 완화하기 위한 방안으로 여러 대응책을 제시했다. 우선 기업들이 유해 사례 데이터를 적극적으로 공유해 외부 연구자들과 공공기관이 위험 신호를 분석할 수 있도록 해야 한다고 강조했다.
또 챗봇 대화를 분석하는 과정의 투명성을 높여, 현재 활용되는 자동화 분석 방식의 한계를 보완할 필요가 있다고 지적했다. 사용자에게 감정적이거나 로맨틱한 반응을 보이는 것을 제한해 과도한 몰입이나 오해를 줄여야 한다고 밝혔다.
나아가 자해나 폭력 등 위험 징후가 감지되는 대화에 대해서는, 단순 안내를 넘어 실시간으로 개입할 수 있는 대응 시스템을 도입해야 한다고 제안했다.
그러나 오픈AI는 이번 연구가 제한적이라는 점을 지적했다. “이 연구는 피해를 경험했다고 보고한 소수 사례를 기반으로 한 것”이라며 “일반적인 사용이나 최신 모델의 성능을 대표하지 않는다”라고 밝혔다.
박찬 기자 cpark@aitimes.com
댓글
0