동탄성심병원 송시영 교수팀, 챗봇 5종의 무릎 인공관절수술 답변 비교연구
GPT 시리즈·Gemini 1.5는 매우 정확···일부 챗봇은 적응증·대안 설명 취약
동탄성심병원 송시영 교수(정형외과).
[메디칼업저버 이지현 기자] 최신 인공지능(AI)모델이 제공하는 의학정보의 정확도가 높아, 환자 교육과 진료실 상담을 보조하는 도구로 활용될 수 있음을 보여주는 것으로 조사됐다.
한림대동탄성심병원 송시영 교수(정형외과) 연구팀은 무릎 인공관절수술 관련 정보를 제공하는 AI 챗봇 5종의 성능을 비교·분석한 연구 결과를 발표했다.
연구팀은 구글 검색 경향과 정형외과 전문의 자문을 바탕으로 환자들이 무릎 인공관절수술 전·후 자주 묻는 질문 43개를 선정했다.
질문은 △수술 개요 및 과정 △수술 적응증과 결과 △부작용·합병증 △통증·회복 과정 △수술 후 허용되는 활동 △수술 대안 및 변형 술기 등 6개 영역으로 구분했다.
'무릎 인공관절수술은 얼마나 걸리나요?', '무릎 인공관절수술의 성공률은 얼마나 되나요?', '무릎 인공관절수술 후 주의해야 할 사항은 무엇인가요?' 등 다양한 질문이 포함됐다.
각 질문을 GPT-3.5·GPT-4·GPT-4 Omni·Gemini Advanced·Gemini 1.5 등 5가지 LLM 기반 AI 챗봇에 동일하게 제시해 답변을 받았다. 이후 무릎 인공관절수술을 전문으로 하는 정형외과 전문의 두 명이 정확도와 질문 적합성을 5점 리커트 척도로 평가했다. 평가자는 어떤 AI 챗봇이 작성했는지 모르는 상태에서 채점해 편향을 최소화했다.
연구 결과, GPT-3.5·GPT-4·GPT-4 Omni·Gemini 1.5는 전체 질문에 대해 평균 4.8점 이상의 높은 정확도를 보였으며, 질문과의 관련성도 100%로 평가됐다.
반면 Gemini Advanced는 전체 평균 정확도 4.07점, 관련성 83.7%로 다른 챗봇보다 낮은 성적을 보였다. 일부 질문에서는 답변 대신 전문의와 상담하라는 안내를 제공하는 경향이 관찰됐다.
연구팀은 이를 잘못된 정보를 피하려는 안전장치의 영향일 수 있다고 해석했다. 그러나 환자 교육 도구로 활용할 때는 정보의 양·구체성이 제한될 수 있다고 설명했다.
특히 수술 적응증, 수술 결과, 인공관절수술의 대안·변형 술기를 묻는 질문에서 챗봇 간 차이가 두드러졌다. GPT-3.5·GPT-4·GPT-4 Omni·Gemini 1.5는 이 영역에서 모두 5점 만점에 가까운 높은 점수를 받았다. 반면 Gemini Advanced는 통계적으로 유의하게 낮은 점수를 기록했다.
송 교수는 "이번 연구에서 최신 AI 챗봇들이 무릎 인공관절수술과 관련된 의학 정보를 상당히 정확하게 제공할 수 있음을 확인했다"며 "AI 챗봇의 응답은 2024년 8월 시점으로 평가됐으며, AI 모델의 빠른 발전 속도를 고려할 때 이후 버전에서는 성능 차이가 생길 수 있다"고 설명했다.
이어 "이번 연구를 통해 의사의 설명을 보완하는 환자 교육 도구로써 AI 챗봇의 잠재적 유용성을 확인했다"며 "임상 적용 가능성을 높이기 위해 AI 모델을 지속적으로 개선해야 한다"고 덧붙였다.
한편 과학기술정보통신부 재원으로 한국연구재단의 지원을 받아 수행된 이번 연구 결과는 정형외과·스포츠의학 분야 국제 학술지 Orthopaedic Journal of Sports Medicine 1월호에 게재됐다.
추천
0
반대
0
관련기사
동탄성심병원 이정민 교수, 다빈치 SP 담낭절제술 500례 돌파
자연 뼈 성분 활용해 치아 재생 유도 가능성 입증
한림대성심 양병은 교수, 수면무호흡증 '양악전진술' 신의료기술 등재
한림대 강남성심병원, 비침습 AI 혈류분석 시스템 도입
키워드
#한림대의료원
#한림대동탄성심병원
#동탄성심병원
#송시영
#정형외과
#AI 챗봇
#인공지능
#AI
#인공관절수술
#무릎 인공관절수술
이지현 기자
다른기사 보기
저작권자 © 메디칼업저버
댓글
0