[세상 읽기]알고 있다는 착각

안다는 것은 무엇일까? 올해 공개된 한 논문에서 흥미로운 용어를 발견했다. ‘LLM 착각’(LLM Fallacy)이다. ‘인공지능(AI)의 도움을 받아 만든 결과물을 자신의 독립적인 능력과 역량으로 잘못 귀인(착각)하는 인지적 오류’를 지칭하는 용어다. 쉽게 설명하면 AI의 도움으로 잘 만들어진 코드나 글, 산출물을 보며 자신의 능력을 실제보다 과대평가하는 현상이다. 기존이라면 전문성이 필요했던 일을 AI가 척척 해내고 인간과 AI의 상호작용이 자연스러워지자, 어디까지가 내 능력이고 어디부터가 도구의 능력인지 경계가 흐려지면서 제안된 개념이다.

AI의 적절한 활용은 인간 능력의 증강으로도 볼 수 있지만 문제는 AI가 사라졌을 때다. AI가 사라지는 순간, 능력도 함께 사라지는 경우가 많다. AI를 활용해 자연스러운 비즈니스 영어로 e메일을 주고받으며 영어 실력이 향상되었다고 생각하지만, 대면 회의에서는 입 한번 달싹이지 못한다. AI로 작성한 탄탄한 논지의 리포트에 좋은 점수를 확신하지만, 근거로 활용된 논문의 내용을 묻는 교수의 질문에는 답하지 못한다. 다양한 AI 도구를 활용해 그럴듯한 자기소개서를 써 내려가지만, 상세한 설명을 요구하는 면접관의 질문에는 대답하지 못한다.

이와 같은 현상과 연관 지어 생각해볼 만한 개념은 ‘인지적 항복’(cognitive surrender)이다. 인지적 항복은 AI가 만든 답을 검토하거나 따져보지 않고 자기 답으로 받아들이는 현상이다. AI의 판단이나 결과물을 접했을 때, 스스로 비판적으로 사고하고 검증하려는 노력을 멈추고 비판 없이 수용하는 현상이다. AI가 작성한 e메일이나 보고서를 별다른 검토 없이 보내거나, 학교에서 내준 수학 숙제를 카메라로 찍어 AI에게 물어본 후 그 답을 그대로 옮겨 제출하는 일이다. 논쟁적인 사건을 AI 요약 한번으로 파악하고 자기 의견처럼 주변에 말하는 일이다. 멀리서 찾지 않아도 주변에서 흔히 볼 수 있는 일들이다.

문제는 이러한 일이 개인의 역량 저하뿐 아니라 사회적 비용을 발생시킨다는 데 있다. AI를 사용해 빠르게 결과물을 만든 사람은 자신의 능력이 좋아지고 생산성과 효율성이 높아졌다고 느끼지만, 검토되지 않은 AI 산출물을 받은 사람은 오류를 수정하고 팩트체크를 하느라 업무 부담이 가중된다. 검증의 비용이 다른 사람에게 넘어간 셈이다. 이러한 행위는 공동체의 불신을 키우고 사회 전체의 검증과 평가 비용을 증가시킬 뿐 아니라, 해당 산출물을 만든 사람의 능력을 의심하고 덜 신뢰하게 된다는 점에서 개인에게도 손해다.

우리는 그동안 다양한 도구를 사용해 우리의 능력을 확장해왔다. 문자와 인쇄술이 그렇고, 컴퓨터와 인터넷이 그렇다. AI도 마찬가지다. AI를 사용해 개인의 능력을 증강하는 것은 문제가 되지 않는다. 문제는 AI 기술을 우리의 사고와 능력을 강화하는 데 사용하는 것이 아니라, 우리의 사고와 판단을 위탁할 때 발생한다. 내가 무엇을 알고 무엇을 모르는지 모를 때 발생한다. 무엇을 위임하고 무엇을 스스로 사고하고 판단해 책임져야 하는지 구분하지 못할 때 발생한다.

내가 원할 때 무엇이든 꺼내 쓸 수 있다는 사실이 나의 역량이 되지는 않는다. AI시대에도 책임지고, 설명하고, 질문에 답할 수 있는 만큼이 내 역량이다.

우숙영|디자이너·작가