온타리오주가 승인한 의료 AI 기록 도구에서 허위 생성과 누락 등 오류가 광범위하게 확인됐다. [사진: 셔터스톡]
[디지털투데이 AI리포터] 온타리오주 정부가 의료기관의 구매를 허용한 의료용 인공지능(AI) 기록 도구에서 부정확한 요약과 허위 정보 생성이 반복적으로 확인됐다.
14일(현지시간) IT 매체 아스테크니카에 따르면, 온타리오주 감사원은 정부의 AI 활용 실태 보고서에서 의료진용 AI 스크라이브가 잘못되거나 불완전한 기록을 생성하고, 존재하지 않는 내용을 추가해 환자 건강 결과에 영향을 줄 수 있다고 지적했다.
감사원은 주정부가 승인 및 사전 적격 판정을 내린 20개 AI 스크라이브 업체를 대상으로 모의 의사·환자 대화 2건의 전사 결과를 점검했다. 그 결과 20개 업체 모두 최소 1건 이상에서 정확성 또는 완전성 문제를 드러냈다.
세부적으로는 9개 업체가 환자 정보를 허위로 생성했고, 12개 업체는 내용을 잘못 기록했다. 17개 업체는 대화에서 언급된 정신건강 관련 핵심 내용을 누락했다.
오류 사례도 확인됐다. 일부 AI 스크라이브는 존재하지 않는 혈액검사나 치료 의뢰를 기록했고, 처방약 이름을 잘못 받아 적었다. 모의 대화에서 제시된 정신건강 관련 핵심 정보가 누락된 사례도 있었다.
평가 기준의 구조적 문제도 드러났다. 온타리오 조달 평가표에서 AI 스크라이브의 의료 메모 생성 정확성 항목은 20점 만점에 12점을 받았지만, 해당 항목의 반영 비중은 전체 점수의 약 4%에 불과했다. 반면 온타리오 내 사업 기반 항목은 30%를 차지해, 정확성 점수가 낮아도 전체 기준을 충족할 수 있는 구조였다.
감사원은 이러한 기준을 근거로 해당 AI 스크라이브들이 충분히 검증되지 않았다고 결론 냈다. 또한 의료기관 IT 부서에 의사가 AI 생성 메모를 환자 기록에 반영하기 전에 검토 여부를 반드시 확인하도록 권고했다.
온타리오의 공공 의료기관은 해당 승인 제품을 의무적으로 사용할 필요는 없으며, 승인 목록 외 제품도 선택할 수 있다. 다만 환자 치료에 영향을 줄 수 있는 결함 있는 AI 요약 시스템이 주정부 추천 목록에 포함돼 있다는 점은 의료 현장에서 주의가 필요한 대목으로 지적된다.
AI리포터
댓글
0