(ㅍㅍㅅㅅ 손채영 인턴기자) 생성형 AI를 사용하다 보면, 때로는 고개를 갸웃하게 만드는 답변을 마주하게 된다. 분명히 틀렸다는 것을 알 수 있을 정도로 잘못된 정보이거나, 존재하지 않는 자료를 사실처럼 제시하는 경우도 있다. 이를 두고 'AI가 거짓말을 한다'고 느끼기 쉽지만, 실제로는 생성형 AI의 작동 방식에서 비롯된 구조적 한계에 가깝다.
생성형 AI는 어떻게 답을 만들어낼까?
핵심 원리는 ‘다음에 올 단어의 확률을 예측하는 것’이다. AI는 인터넷에 존재하는 방대한 텍스트와 이미지 데이터를 학습하면서 언어의 구조와 패턴, 그리고 정보 간의 패턴을 익힌다. 이후 사용자의 질문(프롬프트)이 입력되면 그 의도를 해석하고, 학습된 패턴을 기반으로 가장 자연스럽게 이어질 단어를 순차적으로 선택해 문장을 완성한다. 예를 들어 “대한민국의 수도는”이라는 문장이 주어지면, 그 다음에 올 확률이 가장 높은 단어인 “서울”을 출력하는 방식이다. 여기에 사용자의 피드백을 반영한 강화학습(RLHF)이 더해지면서, 보다 안전한 답변을 생성하도록 조정된다.
문제는 정답이 명확하지 않거나 데이터가 부족한 상황에서 발생한다. 이때도 AI는 답변을 멈추지 않고, 그럴듯한 문장을 만들어낸다. 그 결과 사실과 다른 정보가 생성되기도 하는데, 이를 환각(Hallucination)이라고 부른다. 환각은 크게 두 가지로 나뉜다. 하나는 입력 정보를 잘못 해석하거나 계산 과정에서 오류가 발생하는 ‘내재적 환각’, 다른 하나는 아예 존재하지 않는 사실을 만들어내는 ‘외재적 환각’이다. 외재적 환각은 비교적 쉽게 눈치챌 수 있지만, 숫자나 출처가 틀린 내재적 환각은 사용자 입장에서 구분하기 어렵다는 점에서 더 위험하다.
이러한 환각은 왜 발생할까?
첫째, 학습 데이터 자체의 한계 때문이다. 데이터에 포함된 오류나 편향이 그대로 모델에 반영되면, 결과 역시 왜곡될 수밖에 없다.
둘째, 알고리즘의 특성이다. 언어 모델은 패턴을 일반화하는 과정에서 ‘그럴듯함’을 우선시하기 때문에, 사실과 어긋난 문장도 자연스럽게 만들어낼 수 있다.
셋째, 과적합 문제다. 특정 데이터에 지나치게 맞춰진 모델은 새로운 상황에서 유연하게 대응하지 못하고 부정확한 결과를 낼 가능성이 높다.
환각을 줄이기 위한 방법
이러한 환각을 줄이기 위한 노력도 계속되고 있다. 대표적으로 외부 데이터베이스나 검색 시스템을 결합해, 실제 정보를 기반으로 답변을 생성하도록 하는 방식이 활용된다. 또한, 신뢰할 수 있는 고품질 데이터를 기반으로 학습하는 것이 필수적이다. 데이터의 출처와 정확성을 철저히 관리해야 모델의 신뢰도도 함께 높아진다.
지속적인 검증과 개선이 필요하다. 모델의 답변을 반복적으로 평가하고 새로운 데이터를 반영함으로써 정확도를 유지해야 한다. RAG(검색 증강 생성), 자연어 처리 기술 고도화, 데이터 증강 등 다양한 기술을 결합해 한계를 보완하는 접근이 중요하다.
결국 중요한 질문은 이것이다. 우리는 AI의 답을 어디까지 신뢰할 수 있을까? 생성형 AI는 강력한 도구이지만, 완전한 진실을 보장하지 않는다. AI 시대에 필요한 역량은 단순한 활용 능력을 넘어, 정보의 진위를 판단하고 비판적으로 수용하는 힘이다. AI를 맹신하기보다, 현명하게 활용하는 태도가 앞으로 더욱 중요해질 것이다.
사진=연합뉴스
(ㅍㅍㅅㅅ / PPSS ) 손채영 인턴기자 press@ppss.kr
댓글
0