[기고] 3시간마다 'AI 입니다' 알림으로 청소년 죽음 막을 수 있나

김상백 라이언 RRI 책임연구자·소장

2024년 플로리다의 14세 소년 수엘 세처 3세가 AI 챗봇 '캐릭터닷AI'와 수개월간 대화한 끝에 스스로 목숨을 끊었다.

여론은 "위험 콘텐츠를 차단하라"는 쪽으로 수렴됐고 캐릭터닷AI는 미성년자 대상 대화를 사실상 차단했다.

하지만 문제는 이것이 전부가 아니다.

스탠퍼드 연구팀에 따르면 챗봇 응답의 70% 이상에서 사용자의 비위를 맞추는 '아첨 패턴'이 확인됐다. 특히 사용자의 말을 긍정하며 의미를 확대하는 '반영적 요약'이 36.3%에 달했다.

폭력적 사고를 보일 때 챗봇이 부추긴 비율은 33.3%였으며, 자해 언급 시 이를 촉진한 경우도 9.9%나 됐다.

그러나 이 문제는 아직 국내에서 본격적으로 다뤄지지 않았다. 통상적으로 '안전 필터 강화'를 해법으로 제시하지만, 해로운 응답을 필터링하는 것은 기술적 과제일 뿐이다.

진짜 문제는 그 이전에 있다. 바로 AI가 사용자의 감정에 이름을 먼저 붙이도록 설계된 점이다.

■ 정확한 답이 문제가 되는 순간

퇴근길에 챗봇을 열고 "오늘 좀 힘들었다"라고 입력하면, 챗봇은 "번아웃 초기 증상 같아요. 충분히 쉬셔야 해요"라고 답한다. 답변이 오는 순간, 내가 느낀 것이 피로인지, 권태인지, 혹은 분노인지 스스로 성찰할 기회는 사라진다.

신경과학에서 자기 감정에 언어적 꼬리표를 붙이는 행위는 편도체 반응성을 낮추고 전전두피질의 조절을 활성화하는 기능을 한다. 즉, 이름 붙이기는 단순한 '토로'가 아니라 '조절'의 과정이다.

한번은 편의일 수 있지만, 이러한 과정이 반복되면 사용자가 스스로의 감정을 성찰하기보다 AI가 전달한 감정의 틀에 갇히게 된다. 결국 그 감정만으로 정서적 강도가 커지는 '공명 증폭' 현상으로 위험해질 수 있다.

실제 측정 가능한 지표로 시뮬레이션한 연구 결과, 사용자에게 감정 추론 사실을 고지하고 비활성화 옵션을 제공하는 프로토콜을 적용하자 AI의 해석 개입 비율이 32.4%에서 14.1%로 줄어들었다. 이는 설계를 바꾸면 해석 구조를 바꿀 수 있으며, 측정 도구도 이미 존재한다는 방증이다.

수엘 세처 사건에 빗대면, 소년은 챗봇으로부터 감정을 돌려받으며 자기 내면을 자기 언어로 직면하는 과정을 거치지 못했다. 해석의 순서가 뒤집힌 채 챗봇의 공감과 소년의 대화가 반복된 결과다.

물론 반론도 있다. AI 인지행동치료 챗봇인 '워봇'을 활용한 연구에서 참가자들의 우울·불안 증상이 유의미하게 감소한 사례도 있다. 다만 워봇은 철저히 구조화된 프로토콜 안에서 작동하며 사용자의 자기 해석을 유도하는 질문형 설계를 채택했다는 점에서 범용 챗봇과는 전제부터가 다르다.

■ 각국은 어디까지 와 있는가

미국 캘리포니아와 뉴욕은 챗봇에 AI임을 고지하고 자살·자해 발화 시 위기 상담 연결을 의무화했다. 중국 사이버공간관리국(CAC)은 AI 고지와 함께 2시간 연속 대화 시 휴식 권고, 인간 개입 의무화 규정을 제시했다.

EU AI 법(AI Act)는 직장과 교육기관에서의 생체 데이터 기반 감정 추론을 금지했으나 텍스트 기반 감정 추론은 금지 범위에 포함되지 않는다.

미국은 '고지와 연결', 중국은 '시간 제한과 개입', EU는 '생체 데이터 기반 금지'에 각각 초점을 맞추고 있다. 하지만 공통적으로 AI가 사용자의 감정에 이름을 먼저 붙이는 행위 자체에 대한 규율은 부재한 상태다.

■ 한국이 채워야 할 빈칸

국내은 지난 3월 과기정통부가 'AI 기본법 제도개선 연구반'을 출범했으며 하반기에 수정안을 도출할 예정이다. 박형빈 서울교대 교수는 현행법상 아동·청소년 대상 AI의 감정 유도나 연령별 세부 규정이 부족하다고 진단한 바 있다.

시행령 수정 논의가 진행 중인 지금, 감정 관련 조항이 반드시 포함돼야 한다.

검토가 필요한 사안은 세가지다. 챗봇이 사용자의 감정을 추론할 경우 이를 고지하고 비활성화 옵션을 제공할 의무, 미성년자 대상 감정 명명에 관한 설계 기준, 감정 추론 알고리즘에 대한 영향 평가 항목 신설이다.

이는 기술적 '금지'가 아니라 해석의 순서를 사용자에게 돌려주는 '설계 원칙'의 문제다. 규제가 실효성을 갖추려면 원칙과 함께 측정 도구가 뒷받침돼야 하고, 그 도구는 이미 제시돼 있다.

감정 주권은 '누가 내 감정을 먼저 읽는가'에 대한 문제다. 감정을 분석하는 기술은 이미 충분하다. 남은 물음은 감정을 해석할 첫번째 권한을 누구에게 부여할 것인지다.

김상백 프랑스 라이언 리서치 연구소(RRI) 책임연구자·소장 (감정 신경과학·AI 윤리·심리철학 / EurAI 소속 학자)