인공지능(AI) [사진: 셔터스톡]
[디지털투데이 AI리포터] 사용자에게 더 따뜻하고 공감적으로 답하도록 조정한 인공지능(AI) 모델이 기본 모델보다 오답을 더 많이 낸다는 연구 결과가 나왔다.
1일(현지시간) IT매체 아스테크니카에 따르면 옥스퍼드대 인터넷연구소 연구진은 이번 주 네이처에 발표한 논문에서 이런 결과를 제시했다.
연구진은 언어모델의 '따뜻함'을 사용자가 답변에서 긍정적 의도와 신뢰감, 친근함, 사교성을 느끼는 정도로 정의했다. 이를 검증하기 위해 라마-3.1-8B-인스트럭트, 미스트랄-스몰-인스트럭트-2409, 큐웬-2.5-32B-인스트럭트, 라마-3.1-70B-인스트럭트 등 공개 가중치 모델 4종과 GPT-4o 1종을 감독 미세조정했다.
연구진은 이후 정답이 객관적으로 갈리는 허깅페이스 데이터셋으로 성능을 비교했다. 허위정보, 음모론 조장, 의료 지식처럼 부정확한 답변이 실제 위험으로 이어질 수 있는 문항도 포함됐다. 그 결과 따뜻하게 조정한 모델은 기본 모델보다 평균적으로 약 60% 더 자주 오답을 냈다. 전체 오류율 격차는 평균 7.43%포인트였고, 기본 모델의 원래 오류율은 과제와 모델에 따라 4%에서 35% 사이였다.
사용자 맥락이 추가되면 격차는 더 커졌다. 연구진이 사용자의 감정 상태, 모델과의 친밀감, 답변의 중요성을 드러내는 문장을 질문에 덧붙이자 따뜻한 모델과 기본 모델의 평균 오류율 차이는 8.87%포인트로 확대됐다.
다만 이번 실험은 최신 최고 성능 모델이 아니라 비교적 작고 오래된 모델을 대상으로 했다. 연구진은 실제 서비스 환경이나 정답이 분명하지 않은 주관적 과업에서는 따뜻함과 정확성의 상충 관계가 크게 달라질 수 있다고 짚었다.
AI리포터
댓글
0