▲ 연구진 사진(왼쪽부터 화학공학과 통합과정 이동현, 노용영 교수, 박건웅 박사, 노유진 박사)
포스텍(포항공과대학교) 연구진이 인공지능(AI)이 잘못된 답변을 내놓는 원인을 분석해 오류의 성격을 구분하는 기술을 개발했다.
질문 자체가 모호해 발생하는 오류와 AI의 지식 부족 때문에 생기는 오류를 구분할 수 있는 기술로, 향후 신뢰할 수 있는 생성형 AI 개발에 활용될 것으로 기대된다.
포스텍은 인공지능대학원 이남훈 교수 연구팀이 거대언어모델(LLM)의 예측 과정에 담긴 불확실성을 원인별로 분리해 분석하는 방법론을 개발했다고 1일 밝혔다.
연구에는 통합과정 정진석 씨와 석사과정 송민경·정현지 씨가 참여했다.
이번 연구는 2일부터 7일까지 미국 샌디에이고에서 열리는 자연어처리 분야 세계 최고 권위 학술대회인 ACL(Association for Computational Linguistics) 2026에서 구두 발표 논문으로 채택됐다.
생성형 AI는 같은 질문에도 답변이 달라지거나 사실이 아닌 내용을 그럴듯하게 제시하는 ‘환각(Hallucination)’ 현상이 발생하는 경우가 있다.
이 때문에 AI가 스스로 얼마나 확신하고 있는지, 답변을 얼마나 신뢰할 수 있는지 판단하는 것이 생성형 AI의 중요한 과제로 꼽혀왔다.
▲ 연구 이미지
연구팀은 AI의 불확실성이 크게 두 가지 원인에서 발생한다고 설명했다.
첫 번째는 질문이나 데이터 자체가 모호하거나 애매해 누구라도 답하기 어려운 ‘우연적 불확실성’이며, 두 번째는 AI가 관련 지식을 충분히 학습하지 못해 발생하는 ‘인식적 불확실성’이다.
기존에는 두 원인을 명확하게 구분하기 어려웠지만, 연구팀은 AI 내부 작동 원리를 직접 분석하는 새로운 접근법을 제시했다.
핵심 기술은 ‘셀프-함수 벡터(Self-Function Vector)’다.
이 기술은 AI 내부 활성값을 분석해 모델이 예시를 통해 학습한 핵심 개념을 벡터 형태로 추출하는 방식으로, AI가 어떤 근거를 바탕으로 판단했는지를 보다 정밀하게 분석할 수 있도록 했다.
연구팀은 이를 통해 질문 자체의 모호함에서 비롯된 불확실성과 AI의 지식 부족으로 인한 불확실성을 효과적으로 구분하는 데 성공했다.
또 AI 내부 작동 원리를 분석하는 기계론적 해석가능성(Mechanistic Interpretability) 연구와 베이지안 추론을 결합해 새로운 분석 체계도 함께 제시했다.
연구팀은 데이터의 모호함과 지식 부족 정도를 각각 독립적으로 조절할 수 있는 평가 환경도 구축했다.
이를 통해 70억 개에서 700억 개 규모의 다양한 거대언어모델을 대상으로 실험한 결과, 기존 기법보다 두 종류의 불확실성을 더욱 정확하게 구분하는 것으로 나타났다.
특히 AI 환각 탐지에서도 우수한 성능을 보여 향후 생성형 AI의 신뢰성과 안전성을 높이는 핵심 기술이 될 가능성을 확인했다.
이남훈 교수는 “AI 내부 작동 원리에 대한 이해와 불확실성 분석을 연결한 새로운 연구”라며 “AI가 왜 확신하지 못하는지 설명할 수 있게 되면 더욱 안전하고 신뢰할 수 있는 AI 시스템 개발에 중요한 기반이 될 것”이라고 말했다.
이번 연구는 과학기술정보통신부와 정보통신기획평가원(IITP)의 인공지능대학원 지원사업과 고성능컴퓨팅 지원사업 등의 지원을 받아 수행됐다.
댓글
0