이미지:MIT, 아이스톡
인공지능은 의사가 환자를 진단하고 맞춤형 치료법을 제공하는 데 큰 도움을 줄 수 있을 것으로 기대된다. 그러나 MIT 크리티컬 데이터(MIT Critical Data) 컨소시엄 연구팀은 현재 설계된 인공지능 시스템이 의사를 잘못된 방향으로 이끌 위험이 있다고 경고한다. 인공지능 시스템이 지나치게 확신에 차서 잘못된 결정을 내릴 수 있기 때문이다.
이에 연구팀은 의료 인공지능의 구조적 한계를 지적하며, 보다 신뢰 가능하고 협력적인 ‘겸손한 AI(Humble AI)’ 설계 프레임워크를 제시했다. 기존 AI가 높은 정확도에도 불구하고 과도한 확신을 기반으로 잘못된 판단을 제시할 수 있다는 문제를 해결하기 위한 접근으로, AI를 ‘정답 제시자’에서 ‘협력적 의사결정 파트너’로 전환하려는 시도라는 점에서 주목된다.
“AI는 오라클이 아닌 코파일럿”… 의료 의사결정 구조 재정의
연구진은 현재 의료 현장에서 활용되는 AI 시스템이 진단 정확도 향상이라는 성과에도 불구하고, 잘못된 판단을 과도한 확신과 함께 제시하는 ‘과신(overconfidence)’ 문제를 안고 있다고 분석했다. 특히 중환자실(ICU) 환경에서는 의료진이 AI를 신뢰할수록, 자신의 임상적 직관과 충돌하더라도 AI의 판단을 따르는 경향이 나타나는 것으로 확인됐다.
이는 AI가 단순한 보조 도구를 넘어 의사결정의 방향을 사실상 주도하는 구조로 작동할 수 있음을 의미하며, 잘못된 판단이 그대로 치료 과정에 반영될 위험성을 내포한다. 환자와 의료진 모두 AI를 ‘권위 있는 판단 주체’로 인식할 경우, 오류에 대한 비판적 검토가 약화될 수 있다는 지적이다.
이에 대해 이번 연구를 총괄한 레오 앤서니 셀리(Leo Anthony Celi) MIT 의공학 및 과학 연구소(MIT Institute for Medical Engineering and Science) 선임연구원이자 하버드 의과대학 부교수는 “지금까지 우리는 AI를 일종의 ‘오라클(oracle)’처럼 활용해 왔지만, 앞으로는 ‘코파일럿(co-pilot)’으로 활용해야 한다”며 “AI는 정보를 제공하는 동시에 인간의 판단 능력을 확장하는 방향으로 설계되어야 한다”고 강조했다.
연구진이 제안한 ‘겸손한 AI’의 핵심은 AI가 자신의 판단에 대한 확신 수준을 스스로 평가하고 이를 사용자에게 투명하게 전달하는 능력이다.
이를 위해 도입된 개념이 ‘에피스테믹 버추 스코어(Epistemic Virtue Score)’다. 해당 모듈은 AI가 진단이나 치료 권고를 제시할 때, 데이터의 한계와 임상 상황의 복잡성을 반영해 자신의 확신도를 동적으로 조정하는 역할을 수행한다.
특히 AI의 확신 수준이 실제 근거보다 과도하게 높다고 판단될 경우, 시스템은 이를 감지해 경고를 표시하고 추가 검사나 환자 병력 확인, 전문의 상담 등을 권고한다. 즉, 단순히 결과를 제시하는 것이 아니라 “이 판단은 불확실하다”는 메타 정보를 함께 제공하는 구조다.
이러한 접근은 AI를 자동화된 판단 시스템이 아닌, 의료진과 함께 사고하는 협력형 의사결정 시스템으로 전환하는 데 목적이 있다.
공동 연구자로 국제 컨소시엄인 MIT Critical Data의 연구원인 세바스티안 안드레스 카하스 오르도녜스(Sebastián Andrés Cajas Ordoñez)는 “AI가 모든 판단을 대신하는 구조가 아니라, 인간이 더 깊이 사고하고 다양한 가능성을 탐색할 수 있도록 돕는 방향으로 설계되어야 한다”고 설명했다.
실제로 ‘겸손한 AI’는 단정적인 결론 제시보다, 추가 정보 수집과 대안적 해석을 유도하는 방식으로 작동한다. 이는 의료진의 판단 권한을 강화하는 동시에, AI가 의사결정을 과도하게 지배하는 문제를 완화하는 효과를 기대할 수 있다.
데이터 편향 문제까지 확장... “AI는 데이터에서 시작된다”
이번 연구는 AI의 판단 방식뿐 아니라 데이터 편향 문제에도 주목한다. 현재 의료 AI는 주로 전자의무기록(EHR)을 기반으로 학습되는데, 해당 데이터는 본래 진단 목적이 아닌 기록 및 행정 목적에 최적화되어 있어 임상적 맥락이 충분히 반영되지 않는 한계를 가진다.
또한 의료 접근성이 낮은 지역이나 특정 집단의 데이터가 충분히 포함되지 않는 경우, 모델이 특정 인구 집단에 편향된 결과를 도출할 가능성도 존재한다.
이에 따라 MIT 크리티컬 데이터 컨소시엄은 데이터 과학자, 의료진, 사회과학자, 환자 등이 함께 참여하는 협업 구조를 통해 데이터 자체를 비판적으로 검토하는 프로세스를 도입하고 있다. 데이터가 현실을 충분히 반영하는지, 어떤 집단이 배제되었는지를 사전에 점검함으로써 구조적 편향을 최소화하려는 접근이다.
“신뢰 가능한 AI로의 전환”...의료 AI 기준 바뀐다
연구진은 이번 ‘겸손한 AI’ 프레임워크가 향후 다양한 의료 AI 시스템에 적용될 수 있을 것으로 보고 있다. 영상 진단(X-ray), 응급실 의사결정, 중환자 관리 등 다양한 임상 영역에서 AI의 신뢰성과 협력성을 동시에 확보하는 기준으로 작용할 수 있다는 설명이다.
이번 연구는 단순한 기술 개선을 넘어, AI와 인간의 역할 관계를 재정의하는 패러다임 전환을 제시한다. 더 빠르고 정확한 AI를 넘어, 자신의 한계를 인식하고 이를 투명하게 공유할 수 있는 ‘신뢰 가능한 AI’가 향후 의료 인공지능의 핵심 경쟁력으로 부상하고 있다.
결론적으로 AI 발전의 방향은 하나의 질문으로 수렴된다. AI는 모든 답을 제시하는 존재인가, 아니면 더 나은 질문을 가능하게 하는 파트너인가? MIT 연구진의 이번 제안은 그 답을 ‘협력’과 ‘겸손’에서 찾고 있다.
한편, 이번 연구는 BMJ 헬스 앤 케어 인포매틱스(BMJ Health and Care Informatics)에 '임상 의사결정 지원을 위한 호기심 기반의 겸손한 AI 엔지니어링 프레임워크(Engineering framework for curiosity-driven and humble AI in clinical decision support-
다운
)'란 제목으로 23일(현지시간) 게재됐으며, 앤서니 셀리(Leo Anthony Celi) MIT 의공학 및 과학 연구소 선임연구원이 총괄했다.
공동 연구는 MIT 산하 글로벌 컨소시엄인 MIT 크리티컬 데이터(MIT Critical Data)를 중심으로 진행됐으며, 이 연구는 한국 보건복지부 산하 한국보건산업진흥원(KHIDI)을 통해 ‘보스턴-코리아 혁신연구 지원사업’의 지원을 받아 수행되었다.
댓글
0