[AI 리뷰] "시각장애인 돕는 AI, 아직은 반쪽"…코넬대 연구진 "정확성·...

사진:아이스톡

시각장애인과 저시력자(Blind and Low Vision, BLV)를 지원하는 인공지능(AI) 기술이 빠르게 발전하고 있지만, 실제 사용 환경에서는 여전히 한계가 존재한다는 연구 결과가 나왔다. 특히 복잡한 상황에서의 정확성과 맥락 이해 능력이 개선 과제로 지목됐다.

미국 코넬 대학교 공과대학(Cornell University College of Engineering) 연구진은 시각장애인을 위한 AI 기반 시각 해석 애플리케이션의 성능을 분석한 결과, 기본적인 사물 인식에는 효과적이지만 정교한 정보 제공에는 한계가 있다고 지난 16일(현지시간) 밝혔다.

연구팀은 GPT-4o 기반 아이폰 앱 ‘비전팔(VisionPal)’을 개발하고, 20명의 시각장애인을 대상으로 실험을 진행했다. 참가자들은 2주간 앱을 사용하며 사진 촬영 후 AI의 설명과 대화를 기록하는 ‘다이어리 연구’에 참여했다.

비전팔은 사용자가 촬영한 이미지에 대해 “이게 무엇인가?”와 같은 일반적인 질문에는 높은 만족도를 보였지만, 요리법 해석이나 약 복용량 확인 등 맥락 이해가 필요한 질문에서는 성능이 크게 떨어졌다. 후속 질문에 대한 정확한 응답률은 56.6%에 그쳤으며, 22.2%는 잘못된 정보를 포함한 것으로 나타났다.

이 연구를 주도한 코넬 공과대학, 제이콥스 테크니온-코넬 연구소(Cornell Tech, Jacobs Technion-Cornell Institute), 코넬 앤 S. 바워스 컴퓨팅 및 정보 과학 대학의 시리 아젠코트(Shiri Azenkot) 교수는 “이 기술은 분명 사람들의 삶을 개선하고 있지만, 여전히 개선이 필요하다”며 “특히 실제 사용자 경험을 기반으로 한 한계 분석이 중요하다”고 강조했다.

‘멀티모달 AI’의 한계...신뢰성과 안전성 과제

이번 연구는 텍스트뿐 아니라 이미지·음성·영상까지 처리하는 멀티모달 대형언어모델(MLLM)을 활용했다. 연구진은 자체 개발 시스템을 사용함으로써 실제 환경에서의 데이터를 직접 수집하고 분석했다는 점에서 의미가 크다고 설명했다.

코넬 공과대학 인간-AI ​​상호작용 박사 과정 리카르도 곤잘레스(Ricardo Gonzalez)는 “AI 모델은 매우 빠르게 발전하고 있지만, 사용자 삶에 미치는 영향과 위험 요소를 지속적으로 점검해야 한다”고 밝혔다. 특히, 시각장애인의 경우 잘못된 정보가 안전 문제로 직결될 수 있어, AI 응답의 신뢰성과 정확성 확보가 핵심 과제로 지적된다.

연구팀은 보다 신뢰할 수 있는 시각 보조 인공지능 시스템을 구현하기 위해, 멀티모달 LLM이 갖춰야 할 ‘9가지 핵심 역량’을 제시하며, 인간 중심 설계의 중요성을 강조했다. 이들이 제안한 역량은 단순한 정보 제공을 넘어 실제 사용자의 맥락과 목적에 부합하는 정교한 상호작용을 가능하게 하는 데 초점이 맞춰져 있다.

구체적으로는 ▷객관적이고 사실에 기반한 정보를 전달하는 ‘객관적 사실 기반 설명(Neutral factual communication)’ ▷사용자의 선호와 상황에 맞게 소통 방식을 조정하는 ‘사용자 맞춤형 소통(Adaptive communication)’ ▷사용자의 목표에 맞는 정보만을 선별해 제공하는 ‘목표 중심 협력(Goal-oriented collaboration)’

▷모델의 한계를 명확히 드러내는 ‘불확실성의 투명한 처리(Transparent uncertainty handling)’ ▷필요 시 다른 도구나 사람에게 적절히 연결하는 ‘적절한 외부 연계(Graceful handoff)’ ▷사용자의 현재 상황과 환경을 고려하는 ‘맥락 인식(Context awareness)’

▷대화 흐름을 유지하며 점진적으로 정보를 보완하는 ‘상호작용 지속성(Conversational continuity)’ ▷사용자 안전과 직결되는 정보를 신중하게 다루는 ‘안전 중심 응답(Safety-aware response)’ ▷복잡한 정보를 이해하기 쉽게 전달하는 ‘명확하고 구조화된 설명(Clear and structured communication)’ 등이 포함된다.

연구진은 이러한 역량이 종합적으로 구현될 때 비로소 AI 시각 보조 기술이 단순한 도구를 넘어, 실제 사용자 삶에 신뢰할 수 있는 동반자로 자리 잡을 수 있다고 강조했다. 시리 아젠코트 교수는 “기술 발전도 중요하지만, 결국 핵심은 ‘사람이 무엇을 필요로 하는가’에 대한 질문”이라며, “AI는 사용자 삶을 개선하기 위한 도구라는 점을 잊어서는 안 된다”고 말했다.

“AI 보조 기술, 가능성과 과제 공존”

이번 연구는 AI 기반 보조 기술이 실제로 사용자에게 긍정적인 영향을 주고 있다는 점을 확인하는 동시에, 아직 해결해야 할 기술적·윤리적 과제가 존재함을 보여준다. 특히 시각장애인을 위한 AI는 단순한 편의성을 넘어 안전과 직결되는 영역인 만큼, 향후 보다 정교한 맥락 이해와 오류 최소화 기술이 필수적이라는 지적이다.

AI가 인간의 감각을 보완하는 핵심 도구로 자리 잡아가는 가운데, ‘완전한 신뢰’를 확보하기 위한 기술 진화와 사용자 중심 설계가 앞으로의 경쟁력을 좌우할 것으로 보인다.

한편, 이번 연구는 시리 아젠코트 교수 연구팀이 주도했으며, 논문 ‘멀티모달 대형언어모델이 시각 정보 접근성을 어떻게 지원하는가(How Multimodal Large Language Models Support Access to Visual Information-

다운

)’는 현지시간 13일부터 17일까지 바르셀로나에서 열린 인간과 컴퓨터 간의 상호작용 분야에서 세계 최고 권위를 자랑하는 국제 학회 CHI 2026(Conference on Human Factors in Computing Systems 2026)에서 발표돼 우수논문(Honorable Mention)으로 선정됐다.