AI 챗봇 사용 과정에서 극단주의 성향을 보이는 이용자를 조기에 발견해 지원으로 연결하는 안전 기술이 뉴질랜드의 한 스타트업에서 개발되는 것으로 알려졌다.
로이터는 2일(현지시간) 뉴질랜드 스타트업 스루라인(ThroughLine)이 오픈AI, 앤트로픽, 구글 등과 협력해 위험 사용자 대응 시스템을 개발 중이라고 보도했다.
이 시스템은 오픈AI의 챗GPT 이용자 중 폭력적 극단주의 성향이 감지될 경우, 이를 단순 차단하는 대신 상담 지원이나 전문 기관으로 연결하는 것이 핵심이다. AI와 인간 상담을 결합한 ‘하이브리드 대응 모델’로 설계돼, 문제 행동을 완화하고 위험을 줄이는 데 목적이 있다.
스루라인은 그동안 자해, 가정폭력, 섭식장애 등 위험 신호가 감지된 이용자를 전 세계 180개국, 1600여 개 헬프라인으로 연결하는 서비스를 제공해 왔다. 최근에는 이러한 범위를 확장해 극단주의 예방까지 포함하는 방안을 검토 중이다.
특히 이번 개발에는 2019년 뉴질랜드 총기 테러 이후 온라인 혐오 근절을 위해 출범한 크라이스트처치 콜(The Christchurch Call)이 참여해 전문 자문을 제공하고 있다. 해당 도구는 극단주의 징후를 보이는 이용자에게 적절히 대응하는 챗봇과 실제 상담 서비스 연결 기능을 함께 갖출 예정이다.
이 같은 시도는 AI 기업들이 안전 문제로 비판을 받아온 상황에서 등장했다. 실제로 오픈AI는 최근 총기 사건 가해자가 플랫폼에서 차단됐음에도 당국에 통보되지 않았다는 이유로 캐나다 정부의 개입 가능성이 제기되는 등 압박을 받은 바 있다. 또 앤트로픽과 구글 역시 스루라인과 협력해 위험 사용자 대응 체계를 구축하고 있다.
전문가들은 단순한 콘텐츠 차단보다 관계 기반 접근이 중요하다고 강조한다. 이용자의 발언을 일방적으로 막기보다는, 적절한 지원으로 연결해 문제를 완화하는 것이 더 효과적일 수 있다는 것이다. 실제로 일부 연구에서는 강한 규제로 인해 극단주의 성향 이용자들이 규제가 덜한 플랫폼으로 이동하는 현상도 관찰되고 있다.
다만 이 기술의 효과는 후속 대응 체계에 달려 있다는 지적도 나온다. 상담 연결 이후 실제로 얼마나 적절한 지원이 이루어지는지, 그리고 위험 상황을 어떻게 관리할 것인지가 핵심 과제로 꼽힌다. 일부 기능, 예를 들어 위험 이용자에 대한 당국 통보 여부 등은 아직 결정되지 않은 상태다.
개발진은 AI가 민감한 문제를 드러내는 창구 역할을 한다는 점에도 주목하고 있다. 많은 이용자들이 사람에게 말하기 어려운 고민을 AI에 털어놓는 만큼, 이를 단순 차단할 경우 오히려 더 큰 위험으로 이어질 수 있다는 것이다.
이번 프로젝트는 아직 테스트 단계로 출시 일정은 정해지지 않았지만, AI 안전성과 사회적 책임을 강화하려는 새로운 접근 방식으로 평가된다.
박찬 기자 cpark@aitimes.com
댓글
0