오픈AI o1 모델이 초기 진단 정확도에서 의사보다 높은 성과를 보였다. [사진: 오픈AI]
[디지털투데이 AI리포터] 하버드 의대 연구진이 실제 응급실 환자 사례를 바탕으로 오픈AI 모델의 진단 성능을 비교한 결과, o1 모델이 초기 진단 정확도에서 담당 의사보다 높은 성과를 보인 것으로 나타났다.
3일(현지시간) IT 매체 테크크런치에 따르면, 이번 연구는 하버드 의대와 베스 이스라엘 디코니스 메디컬센터 소속 의사 및 컴퓨터과학자들이 공동으로 수행했으며, 최근 학술지 사이언스에 게재됐다.
연구진은 대규모언어모델(LLM)이 다양한 의료 환경에서 어느 수준의 성능을 보이는지 평가했다. 특히 실제 응급실 사례를 활용해, 베스 이스라엘 응급실을 방문한 환자 76명을 대상으로 두 명의 담당 의사와 오픈AI의 o1, 4o 모델이 각각 제시한 진단 결과를 비교했다. 이후 다른 두 명의 의사가 어떤 진단이 인간 의사와 인공지능(AI)에서 나온 것인지 모른 채 결과를 평가했다.
그 결과 o1 모델은 전체적으로 두 명의 담당 의사와 4o 모델 대비 비슷하거나 더 높은 진단 성능을 보였다. 특히 환자 정보가 제한적이고 신속한 판단이 요구되는 초기 응급 분류 단계에서 성능 차이가 더 두드러졌다.
연구진은 전자의무기록에 실제로 기록된 정보만 모델에 입력했으며, 별도의 전처리는 진행하지 않았다고 밝혔다. 그 결과 o1 모델은 응급실 초기 분류 사례의 67%에서 정확하거나 매우 근접한 진단을 제시했다. 이는 비교 대상인 두 의사의 정확도 55%, 50%보다 높은 수치다.
아르준 만라이(Arjun Manrai) 공동 책임저자는 AI 모델이 기존 모델과 의사의 기준 성능을 모두 넘어섰다고 평가했다. 다만 연구진은 이번 결과가 AI가 곧바로 응급실에서 생사를 결정하는 역할을 수행할 수 있다는 의미는 아니라고 선을 그었다. 실제 임상 환경에서의 전향적 검증이 필요하다고 강조했다.
이번 평가는 텍스트 기반 의료 정보만을 활용한 조건에서 진행됐다. 연구진은 현재의 기반 모델이 이미지나 기타 비텍스트 데이터를 추론하는 데에는 여전히 제한이 있다고 지적했다.
애덤 로드먼(Adam Rodman) 공동 책임저자는 AI 진단을 둘러싼 공식적인 책임 체계가 아직 마련되지 않았다고 경고했다. 또한 환자들은 생사와 직결되는 의료 결정에서는 여전히 인간 의사의 판단과 안내를 원한다고 덧붙였다.
AI리포터
댓글
0