인공지능(AI)이 사법·행정·의료 등 고도의 신뢰가 요구되는 전문 영역으로 영향력을 확대하고 있으나, 사실과 다른 정보를 정교하게 꾸며내는 ‘환각(Hallucination)’ 현상이 신뢰의 임계점을 흔들고 있다. 단어 간 통계적 확률에 의존하는 거대언어모델(LLM)의 구조적 한계는 실존하지 않는 판례를 인용하거나 기업 경영에 위기를 초래하는 등 실질적인 사회적 비용을 발생시키는 모습이 나타났다. 이에 정보통신기술(ICT) 업계는 검색증강생성(RAG)과 응답 검증 기술을 통해 기술적 해법을 모색하는 한편, 정부는 ‘AI 기본법’ 시행을 통해 투명성·안전성 확보에 나서고 있다. 다만 과도한 법적 책임이 기술 혁신의 동력을 꺾지 않도록 규제와 진흥 사이의 정교한 균형점을 찾는 일이 AI 강국으로 도약하는 핵심 과제가 될 전망이다.
만능 같았던 AI의 배신
AI의 수준이 고도화하면서 LLM에 기반한 대화형 AI 서비스가 빠르게 확산하고 있다. 대량의 정보를 짧은 시간 내 찾아 요약·정리하며 사용자가 요구하는 대로 재가공해 제공하는 최신의 대화형 AI 서비스들은 일반 대중의 생활 편의를 넘어 기업·기관의 업무와 연구·개발(R&D), 정부의 정책 판단 및 법률·의료 등 공공·전문성이 강한 영역에까지 응용 범위를 넓혀 나가는 상황이다. 이제는 단순 반복성 업무는 물론 추론과 판단이 필요한 인간의 역할도 보완·대체하는 모양새다.
그러나 사실관계가 잘못된 정보를 생성하는 환각이 AI 서비스 대중화의 큰 걸림돌로 지목된다. 오픈AI의 챗지피티(ChatGPT), 구글의 제미나이(Gemini) 등 이제는 보편적으로 활용되는 대화형 AI 서비스를 비롯해 LLM에 기반하는 생성형 AI는 존재하지 않는, 사실이 아닌 그럴듯한 거짓 정보를 마치 진짜인 양 만들어 확신에 찬 어조로 출력하는 오류를 내고 있다.
환각은 단순히 기술적 오류를 넘어 모델이 학습 데이터에 존재하지 않는 정보를 마치 사실인 양 정교하게 꾸며내는 특성을 가진다. 이는 확률적 알고리즘에 기반한 LLM의 구조적 특성에서 기인한다. 모델이 학습 데이터 내 단어 간 통계적 관계를 토대로 다음에 올 가장 확률 높은 토큰(Token)을 예측하는 과정에서 정보의 진위보다는 문장 구성의 완결성과 유창성을 우선시하기 때문이다. 학습 데이터 자체의 편향성이나 정보 오염, 모델 내부의 사실 확인 절차 부재 역시 주요 원인으로 꼽힌다.
AI의 성능을 맹신하고 그 편의에 종속되기 쉬운 사용자들은 AI가 만든 결과물을 별다른 의구심 없이 무비판적으로 수용하는 경향을 보인다. 다만 AI 서비스 초기에는 환각 현상의 영향이 사용자의 불편과 실수 정도에만 머물렀다.
그런데 최근에는 AI 서비스가 전문 영역에서도 활용되는 데 따라 사법·행정·경제 등 고도의 신뢰가 요구되는 영역에서 실질적인 피해를 야기하고 사회적 비용도 발생시키고 있다. 지난해 말 한 공인노무사가 부당해고 심판 과정에서 챗지피티를 사용, 실존하지 않는 ‘거짓 판례’를 인용한 답변서를 제출하며 논란이 인 사례가 있다. 지난 3월 대법원은 ‘AI 활용 허위 주장·증거 제출 대응 TF’를 통해 AI 활용 사실 고지, 허위 법령 인용에 대한 제재 등 대응 방안을 발표하기도 했다.
기업 현장에서도 AI 환각은 경영 위협 요인으로 여겨지고 있다. 2024년 에어캐나다는 자사 AI 챗봇이 규정에 없는 환불·할인 정보를 고객에게 잘못 제공한 사건에 대해 법원으로부터 배상 책임을 선고받았다. 이는 AI가 생성한 답변이 기업의 공식적인 의사표시로 간주돼 법적 책임의 근거가 될 수 있다는 중요한 선례를 남겼다.
이처럼 AI 환각은 기술 발전 과정의 일시적인 노이즈가 아닌, AI가 해결해야 할 본질적인 과제로 인식되고 있다. 특히 데이터의 최신성과 정확성이 요구되는 ICT 융합 산업 현장에서는 AI 환각이 공급망 관리 오류나 설비 설계 결함에 따른 실질적 피해로 이어질 수 있다는 우려도 커 체계적인 대응·관리 방안 마련이 시급한 상황이다.
AI 환각의 원인. [자료=한국지능정보사회진흥원 자료 재구성]
기술적 억제책 도입 시도
AI 환각 문제가 대두됨에 따라, ICT 산·학·연은 이를 근본적으로 해소하기 위한 기술적 방안을 모색하고 있다.
AI 환각을 억제하기 위한 기술적 노력은 크게 ‘외부 지식의 활용’과 ‘답변의 사후 검증’이라는 두 가지 축으로 전개되고 있다. 가장 대표적으로 거론되는 방법은 RAG다. 이는 AI 모델이 내부 지식만으로 답변을 생성하는 대신, 질문과 관련된 신뢰할 수 있는 외부 문서를 실시간으로 찾아내 참고하며 답변을 생성하는 방식이다. 학습 데이터에 포함되지 않은 최신 정보나 기업 내부의 보안 문서를 반영할 수 있다는 점에서 마치 ‘오픈북 테스트’와 유사한 원리로 이해된다.
최근에는 RAG를 넘어 생성된 답변이 참조 문서와 얼마나 일치하는지를 정량적으로 평가하는 ‘응답 검증 및 환각 평가 기술’이 부상하고 있다. 모델이 스스로 답변의 불확실성을 측정해 모르는 질문에는 답변을 거부하게 하거나, 생성된 문장의 논리적 흐름을 역추적해 사실관계를 재확인하는 방식이다. 일례로 구글 딥마인드는 LLM이 제공된 소스 자료에 대한 응답을 얼마나 정확하게 근거로 삼고 환각을 피하는지 측정하는 ‘FACTS Grounding’ 벤치마크를 제공해 환각 현상을 평가·판단하고 개선하도록 지원하고 있다.
이밖에 솔트룩스는 지식 그래프(온톨로지)와 LLM을, 포티투마루는 딥러닝 기반의 기계독해(MRC)와 RAG 기술을 결합해 답변의 정확성을 확보하는 등 국내 기업들 역시 AI 환각을 방지하는 기술력 확보에 나서고 있다.
그러나 이런 기술적 보완책에도 불구하고 환각의 완벽한 제거는 여전히 난제로 남아 있다. 지난 2024년 미국 스탠포드대학교와 예일대학교 연구팀의 연구 결과, RAG를 적용한 전문 법률 도구조차 특정 질의에서는 17~34%의 확률로 AI 환각을 발생시키는 것으로 나타났다.
최근 전남대학교 연구진들도 RAG가 환각 억제를 보장하지 않는다는 점을 밝혔다. RAG를 통해 제공된 맥락이 LLM 내부의 파라미터 지식과 충돌할 때 외부 정보를 무시하고 내부 지식 기반으로 답변을 생성하려는 경향을 보인다는 설명이다.
결론적으로 기술적 해법은 환각을 완전히 억제하는 것보다는, 환각 가능성을 완화해 AI가 생성하는 결과물의 오류와 그로 인한 피해를 비교적 쉽게 관리하는 데 목적이 있다는 평가다.
정책적·윤리적 해법도 모색
기술적인 시도로 환각의 완전한 해결까지 기대하기는 어려운 상황인 만큼, AI의 신뢰성을 제도적으로 뒷받침하는 비기술적 대응 방안도 검토되고 있다. 핵심은 AI의 ‘투명성’과 ‘책임’을 강화하는 것이다.
지난 1월 22일 시행된 ‘인공지능 발전과 신뢰 기반 조성 등에 관한 기본법(AI 기본법)’이 대표적인 사례다. 이 법은 생성형 AI를 활용해 만든 결과물이라는 것을 사용자가 인식할 수 있도록 사업자에게 표시 의무를 부과하고, 인간의 생명과 기본권에 중대한 영향을 미칠 수 있는 AI에는 안전성 확보 조치를 하도록 했다.
이는 사용자가 환각에 따른 정보 오류 가능성을 인지하도록 돕는 최소한의 안전장치로 기능한다. 동시에 고위험 영역의 AI를 개발하고 제공하는 사업자에게 신뢰성 확보를 위한 위험 관리 의무를 부과함으로써 기술 개발 단계부터 환각 발생을 억제하려는 정책적 해법으로 여겨진다.
민간 영역에서의 자정 노력도 병행되는 추세다. 기업들은 윤리 가이드라인을 수립하고, 단순 추론을 넘어 논리적 단계별 검증이 가능한 모델을 채택하며 데이터 품질 관리에 공을 들이고 있다. 특히 양질의 학습 데이터 확보는 환각 현상을 근본적으로 완화하기 위한 기업들의 핵심적인 비기술적 전략으로 자리 잡았다.
한편, 일각에서는 제도적 장치가 기술의 본질적인 성장을 저해하는 ‘규제의 덫’이 될 수 있음을 지적한다. 특히 자본과 인력이 부족한 국내 스타트업들은 AI 기본법이 실질적인 규제로 작동하게 돼 복잡한 위험 관리 방안 수립과 이용자 보호 조치 의무를 감당하지 못할 것을 우려하고 있다.
국내 AI 스타트업 관계자는 “과도한 법적 책임 부과가 오히려 국내 기업의 기술 고도화를 지연시키고, 역설적으로 환각을 더 완벽히 해결할 수 있는 ‘초고도 AI’의 등장을 가로막는 부작용을 낳을 수 있다”며 “정부가 신뢰성 검증 인프라를 공공재 형태로 지원하고, 기업이 자율적으로 안전 가이드라인을 준수하도록 유도하는 유연한 접근이 필요하다”고 전했다.
댓글
0