KAIST-마이크로소프트연구소, 시간 변화 정보 반영한 자동 진단체계 개발
의료·법률 등 전문 분야 적용 기대… 믿고 쓰는 AI 시대 앞당겨
▲황의종 교수
[충청타임즈] 챗GPT가 최신 정보를 제대로 반영하지 못하는 사례가 개선될 전망이다.
KAIST 연구진이 변화하는 현실 정보를 자동 반영해 ‘시간 오류’까지 잡아내는 새로운 평가 기술을 개발했다.
KAIST 황의종 교수 연구팀이 마이크로소프트연구소와 공동연구를 통해 거대언어모델(LLM)의 시간 추론 능력을 자동으로 평가·진단하는 시스템을 개발했다.
인공지능이 사용자의 신뢰를 얻기 위해서는 변화하는 현실 정보를 정확히 이해하는 능력이 필수적이다.
연구팀은 지난 40여 년간 검증되어 온 ‘시간 데이터베이스’ 설계 이론을 인공지능 평가에 도입했다.
데이터의 시간적 흐름과 관계 구조를 활용해 데이터베이스만으로 13가지 유형의 복잡한 시간 기반 문제가 자동으로 생성되도록 했다는 점이 핵심이다.
연구팀은 단순히 최종 답이 맞는지 틀리는지 여부를 판단하는 기존 방식에서 나아가, 답변 과정에서 제시된 날짜나 기간의 논리적 타당성까지 검증하는 지표를 새롭게 도입했다.
이 기술을 적용하면 정보 변경 시 데이터베이스만 갱신하면 되기 때문에 평가 유지 비용을 크게 절감할 수 있으며, 입력 데이터량 역시 기존 대비 평균 51% 줄어드는 효과를 보였다.
황의종 교수는 “방대한 전문 데이터를 평가 자원으로 전환함으로써 향후 의료·법률 등 다양한 분야의 인공지능 성능 검증에 실질적인 기반이 될 것”이라고 말했다.
/대전 한권수기자 kshan@cctimes.kr
댓글
0