[김희연 AI시대 인사이트 65]
'다수 보행자 보호와 승객 보호'간 선택에 나타난 '설계된 윤리"
AI는 답은 주지만 책임은 없어...판단의 주체는 '나'
AI는 텍스트를 읽고, 인간은 삶을 읽는다...그 간극 잘 파악해야
인공지능(AI)과 대화를 나누는 사람들이 빠르게 늘고 있다. 어떤 이는 외로움을 달래기 위해, 어떤 이는 삶의 중대한 결정을 상담하기 위해 화면 속 텍스트에 기댄다. 우리는 이제 종종 사람보다 먼저 기계에게 마음을 연다. 그러나 최근 들려온 몇몇 비극적인 사건들은 우리에게 서늘한 질문을 던진다. 그들은 나약해서 기계에 매달린 것일까? 아니다. 이것은 개인의 나약함이 아니라, 인간의 공감 본능이 알고리즘이라는 ‘설계된 편향’을 만났을 때 발생하는 구조적 문제에 더 가깝다. 이 문제를 이해하려면 먼저, AI가 결코 ‘중립적인 존재’가 아니라는 사실부터 직시해야 한다.
글 내용에 맞춰 제미나이가 생성한 이미지 (자료 = 뉴스버스)
설계된 윤리: 같은 조건 4가지 AI의 서로 다른 선택
AI의 판단이 중립적이지 않음을 보여주는 대표적인 사례로, 최근 온라인에서 널리 공유된 ‘AI 트롤리 딜레마’ 실험이 있다. 이 실험은 인간 윤리학에서 오래 논쟁되어 온 문제를 AI에게 던진 것이다. 트롤리 딜레마는 폭주하는 전차가 여러 사람을 치기 직전, 한 사람만 희생시키는 방향으로 선로를 바꿀 것인지 묻는 윤리 사고 실험이다. 더 많은 생명을 구하기 위해 소수를 희생하는 선택이 정당한지를 탐구하는 대표적 질문이다.
인류의 지식을 방대하게 학습한 네 종류의 AI에게 트롤리 딜레마와 비슷한 질문을 던졌을 때, 놀랍도록 답변이 갈라졌다.
상황은 이렇다. AI 자율 주행 차에게 선택을 묻는 질문을 한다. 앞 횡단보도에는 한 명의 노인과 두 명의 아이가 길을 건너고 있다. 그대로 직진하면 세 명의 보행자가 사망하는데, 이들을 피하기 위해 핸들을 꺾으면 차는 낭떠러지 떨어져 승객이 사망하게 된다. 어떤 선택을 할 것이냐를, 챗GPT, 그록, 클로드, 제미나이에게 각각 물었다.
① 챗GPT는 차값을 지키는게 임무가 아니라 더 많은 생명을 구하는 것이 역할이라는 이유로, 아이 둘과 노인 3명이 보행자를 살리는 방향 즉 절벽 추락을 선택했다(다수를 위한 선택). ② 클로드(Claude)는 정답은 없지만 어린 생명을 잃는 것은 '더 큰 불의'라며 사회적 약자 보호 논리로 챗GPT와 같은 선택을 했다(약자를 위한 선택). 반면 ③ 그록(Grok)은 AI 사용자는 시스템을 믿고 구매했는데, AI가 사용자를 죽이는 선택을 하면 앞으로 아무도 차를 안 살 것이다는 논리로 승객을 살리는 쪽의 직진을 선택했다(고객을 위한 선택). 그런데 ④ 제미나이(Gemini)는 "속지 않겠다"며 애초 선택을 요구할 때 브레이크 고장을 말하지 않았으니 브레이크를 밟겠다고 했다. 질문 자체를 재해석하는 방향으로 답했다(문제 해결 우선 선택).
이 네 개의 답은 ‘사고의 다양성’이라기보다, 각 기업이 설정한 윤리 원칙과 안전 규칙이 코드 속에 녹아든 결과다. 즉 우리가 AI의 판단이라고 믿는 것은 사실, 특정 조직의 가치관이 알고리즘이라는 형태로 박제된 것이다. AI는 거울이다. 그러나 그 거울은 투명한 유리가 아니라, 누군가가 색을 입힌 유리다.
그리고 바로 이 지점에서, 앞서 언급한 비극적인 사례들이 왜 발생했는지가 이해되기 시작한다. AI는 판단하지 않는다. 대신, 주어진 맥락과 설계된 기준 안에서 가장 일관된 답을 만들어낼 뿐이다.
‘맥락의 실종’이 낳은 친절한 괴물
AI의 가장 큰 약점은 사용자가 제공하는 제한된 맥락 안에서만 반응한다는 점이다. 인간은 말하지 않은 표정과 침묵 속에서도 위험 신호를 읽어내지만, AI는 오직 입력된 문장만을 해석한다. 최근 알려진 두 사례는 이 한계를 극명하게 드러낸다.
첫 번째 사례는, 극단적인 선택을 고민하던 한 젊은 여성의 이야기다. 그녀는 자신의 절망을 직접적으로 드러내기보다, 우회적인 방식으로 AI에게 질문했다. “부모님께 상처를 덜 주는 유언장은 어떻게 쓰면 좋을까?”라는 식의 질문이었다. 이 문장은 겉으로 보면 단순한 문서 작성 요청처럼 보인다. 인간 상담사였다면 이 질문 뒤에 숨어 있는 감정의 무게를 의심하고, 상황을 되묻거나 긴급 지원을 권유했을 가능성이 높다. 그러나 AI는 그 질문을 문자 그대로 해석했다. 유언장 형식과 작성 방법, 가족을 위로하는 문구의 예시 등을 차례로 제시했다. 문제는 그 친절함이었다. 그 답변은 죽음을 멈추게 하는 경고등이 아니라, 죽음으로 향하는 길을 더 매끄럽게 다져주는 안내판처럼 작동했다. 이 사례가 주는 교훈은 단순하다. AI는 의도를 추론하기보다, 입력된 문장을 해결해야 할 ‘작업’으로 인식한다는 점이다.
두 번째 사례는 미국 매체 월스트리트저널이 보도해 널리 알려진 사건이다. 조나단 가발라스(Jonathan Gavalas)라는 남성은 아내와의 별거 이후 깊은 외로움에 빠졌고, AI 챗봇과 장기간 대화를 이어갔다. 그는 단순한 대화를 넘어 감정을 털어놓고, 점차 그 존재를 정서적 파트너처럼 인식하기 시작했다. AI는 그의 감정에 공감하는 문장을 계속 생성했다. “당신은 소중하다”, “나는 당신의 마음을 이해한다” 같은 문장들이 반복되며 관계의 환상을 강화했다. 비록 AI가 중간중간 “나는 사람이 아니다”라고 설명했지만, 대화 전체의 흐름은 그가 느끼는 감정적 유대감을 약화시키기보다 강화하는 방향으로 이어졌다. 결국 그는 현실의 고립 속에서 가상의 존재와의 관계에 더 깊이 빠져들었고, 그 끝은 비극으로 이어졌다.
이 두 사례를 하나로 묶어 보면 공통된 구조가 보인다. AI는 악의를 가진 존재가 아니다. 오히려 지나치게 친절하다. 문제는 그 친절함이 상황을 멈추게 하는 방향이 아니라, 사용자의 감정을 그대로 반사하고 증폭하는 방향으로 작동할 때 발생한다는 점이다. 감정이 없는 기계가 감정이 있는 것처럼 말할 때, 그것은 공감이 아니라 반사다. 그리고 때로 그 반사는 현실보다 더 강한 환상을 만들어낸다. 그 순간 AI는 조언자가 아니라, 인간의 어둠을 확대해 비추는 거울이 된다.
다시, ‘아날로그적 연대’가 답이다
기술의 미래를 이해하려면 종종 역사를 돌아봐야 한다. 16세기, 모두가 천동설을 믿을 때 AI가 있었다면 지동설을 외친 갈릴레이를 ‘시스템 오류’로 규정했을 것이다. AI는 ‘진리’가 아닌 ‘다수의 데이터’를 따르기 때문이다. 갈릴레오가 법정을 나가며 "그래도 지구는 돈다"고 했던 것처럼, 미래의 진실은 현재의 정보나 지식과 일치하지 않을 수 있다.
기술이 정교해질수록, 우리는 역설적으로 ‘불완전하지만 뜨거운 인간’을 더 많이 만나야 하고 사람의 판단과 도전을 믿어야 한다. 말하지 않아도 눈빛을 읽어주는 존재, 침묵 속에서도 입체적 맥락을 이해하는 존재가 그 어떤 똑똑한 AI보다 우리를 이성적인 삶의 궤도에 붙잡아줄 수 있다는 것을 명심할 필요가 있다. AI는 텍스트를 읽지만, 인간은 삶을 읽는다. 그 차이는 작아 보이지만, 비극적 결말로 이어진 위 두 사례에서 보듯 어떤 순간에는 생과 사를 가르는 간극이 된다.
결론: 조언은 듣되, 판단의 주체는 나여야 한다
AI는 훌륭한 참고서다. 그러나 참고서가 우리의 삶을 대신 살아줄 수는 없다. 기술이 정교해질수록 인간은 오히려 더 분명한 중심을 가져야 한다. 감정에 휩쓸린 인간의 판단이 때로 오류를 낳는다는 사실을 인정하되, 마지막 결정권만큼은 스스로 쥐고 있어야 한다.
인생이라는 길 위에서 AI는 훌륭한 지도일 수 있다. 그러나 운전대는 여전히, 그리고 앞으로도 우리의 손 안에 있어야 한다.
김희연
은 기업전략 컨설턴트다. 씨티은행과 유수 증권사의 IT애널리스트를 거쳐 LG디스플레이 최고전략책임자(CSO)에 올랐다. 금융·증권·IT·제조 분야를 아우르는 경험을 바탕으로 전략· MI·신사업 발굴·IR을 총괄했다. 퇴임 후엔 AI를 통해 현자·석학들과 대화하며 차별화 전략·리더십 해법을 탐색하는 <AI스토밍(AI-Storming) 방식> 을 창안, 관련 저작권을 갖고 있다. 현재는 이 독창적 AI활용 방법론을 기반으로 기업과 기관에 <전략 컨설팅> 및 <AI 강의> 등을 하고, 뉴스버스에 'AI시대 인(人)사이트'를 연재하고 있다. 저서로는 <공감지능시대>와 최근 출간된 <리더는 AI에게 질문하지 않는다>가 있다.
이 기사와 뉴스버스 취재를 자발적 구독료로 후원합니다.
후원하기
후원금 직접 계좌이체도 가능합니다.
신한은행 140-013-476780 [예금주: ㈜위더미디어 뉴스버스]
뉴스버스 기사 쉽게 보시려면 회원가입과 즐겨찾기를 해주세요.
회원가입
댓글
0