이번 수치는 추론 성능 강화가 곧바로 서비스 신뢰성 향상으로 이어지지 않을 수 있음을 보여준다. [사진: 셔터스톡]
[디지털투데이 홍진주 기자] 추론형 인공지능(AI) 모델이 빠르게 확산하는 가운데, 중국 AI 스타트업 딥시크의 최신 추론 모델 '딥시크-R1'이 이전 모델보다 훨씬 높은 환각(hallucination) 비율을 기록한 것으로 나타났다. 업계에서는 이번 결과가 AI 기반 암호화폐 에이전트 시장에 직접적인 경고 신호가 될 수 있다는 분석이 나온다.
11일(현지시간) 블록체인 매체 비인크립토에 따르면, AI 평가 기업 벡타라(Vectara)는 자사 환각 평가 체계인 'HHEM 2.1' 벤치마크를 통해 딥시크-R1과 이전 모델 딥시크-V3를 비교 분석했다. 그 결과 딥시크-R1의 환각률은 14.3%로 집계됐으며, 딥시크-V3의 3.9%보다 약 4배 높았다.
벡타라는 이번 테스트 결과를 구글의 FACTS 방법론으로도 교차 검증했다고 밝혔다. 분석 결과 딥시크-R1은 대부분의 테스트 구성에서 원문에 없는 내용을 추가하거나 근거 없는 정보를 생성하는 경향이 더 강하게 나타났다.
벡타라는 딥시크-R1의 핵심 문제로 '과도한 보완 성향'을 지목했다. 모델이 사용자를 지나치게 돕기 위해 원문에 존재하지 않는 맥락이나 설명을 덧붙이는 경향을 보였다는 것이다. 개별 문장만 보면 사실처럼 보일 수 있지만, 출처에 없는 내용을 임의로 연결하는 순간 환각으로 분류된다.
업계에서는 이 문제가 단순한 AI 품질 논란을 넘어 실제 금융 리스크로 이어질 수 있다고 우려한다. 특히 최근 암호화폐 시장에서 확산 중인 AI 에이전트 프로젝트들은 대형언어모델(LLM)에 거래 기능과 자동화 도구를 결합한 구조를 채택하고 있기 때문이다.
현재 시장에는 버추얼스 프로토콜(Virtuals Protocol), ai16z, AIXBT 등 다양한 AI 에이전트 토큰 프로젝트가 등장해 있다. 이들 서비스는 소셜미디어 게시, 토큰 분석, 투자 신호 생성, 거래 실행, 시장 코멘트 작성 등을 자동 수행한다. 문제는 모델이 잘못된 정보를 생성할 경우 오류가 실제 온체인 행동으로 이어질 수 있다는 점이다.
예를 들어 AI가 존재하지 않는 파트너십이나 잘못된 컨트랙트 주소, 부정확한 가격 데이터를 사실처럼 생성할 경우 투자 판단 자체가 왜곡될 수 있다. 특히 여러 단계의 추론을 기반으로 행동을 계획하는 모델에서는 초기 단계의 오류가 이후 전체 의사결정 과정으로 확산될 가능성이 크다.
실제 AI 에이전트 프로젝트 AIXBT는 416개 토큰을 홍보해 평균 19% 수익률을 기록한 사례로 알려졌지만, 동시에 모델 판단 오류가 그대로 사용자에게 전파될 수 있다는 구조적 위험성도 함께 드러냈다는 평가를 받는다.
업계에서는 이런 현상이 딥시크만의 문제가 아니라고 보고 있다. 추론 능력을 강화하기 위해 사용하는 강화학습(RL) 기법이 모델의 자신감과 응답 확장성을 높이는 대신, 잘못된 정보까지 더욱 단정적으로 생성하게 만들 수 있다는 지적이다.
메타의 수석 AI 과학자 얀르쿤 역시 LLM의 환각 현상을 구조적 한계로 봐왔다. 그는 자기회귀 방식 기반의 현재 LLM 구조에서는 환각 문제가 완전히 사라지기 어렵다고 주장해 왔다.
반면 일부 AI 연구소들은 검색 보강(RAG), 사후 검증 모델, 미세조정 기술 등을 활용하면 환각률을 상당 부분 낮출 수 있다고 보고 있다. 다만 현장 개발자들은 실제 운영 환경에서 여전히 환각 문제가 빈번하게 발생한다고 지적한다.
결국 전문가들은 AI 에이전트 산업의 핵심 과제가 단순 성능 경쟁이 아니라 ‘검증 가능한 운영 구조’에 있다고 강조한다. 모델이 생성한 정보를 별도 검증 시스템으로 재확인하거나, 금융 실행 단계에는 더 보수적인 모델을 사용하는 방식 등이 현실적인 대안으로 거론된다.
Hallucinations in LLM are due to the Auto-Regressive prediction.
I think what I call "Objective Driven AI" will solve the problem: systems that plan their answer by optimizing a number of objective functions *at inference time*
https://t.co/JcR5hItwzJ
— Yann LeCun (@ylecun)
June 9, 2023
댓글
0