[AI와 사는 법] 구분할 수 없는 가짜의 시대, 법의 역할은 무엇인가

AI 생성물 진위 판별 점점 어려워져

최악의 악용 가능성 상정한 법 설계 필요

한 아이가 부모의 손을 잡고 쇼핑몰을 걷는다. 그때, 스쳐 지나가는 낯선 이들이 하나둘 아이의 이름을 부르고, 학교와 생일, 다니는 학원의 위치까지 아무렇지 않게 말한다. 부모는 순간 얼어붙듯 당황하지만, 이내 그 모든 정보가 다름 아닌 자신들이 소셜미디어에 올린 게시물이었음을 깨닫는다. 이는 아일랜드 데이터보호위원회와 프랑스 정보자유위원회가 2025년 11월 공개한 ‘Pause Before You Post’ 공익광고의 한 장면이다. 독일의 통신사 도이치 텔레콤이 2023년 공개한 ‘Share with Care-A Message from Ella’ 역시 어린 자녀의 사진으로 만들어진 미래의 자녀가 부모를 꾸짖는 영상으로, 같은 해 칸 광고제에서 주목을 받은 바 있다.

고도화된 생성형 AI는 지브리풍 이미지를 손쉽게 만들어내는 유용한 기술인 동시에, 개인의 얼굴이나 목소리 같은 고유한 흔적을 모방하는 범죄의 도구로 악용되기도 한다. 이는 생성형 AI가 지닌 대표적인 외재적 위험이다. 최근 ‘성폭력범죄의 처벌 등에 관한 특례법’ 개정에서 불법 성적 합성물의 단순 제작까지 처벌 범위를 확장한 것을 비롯해, 영국의 ‘Online Safety Act’, 미국의 ‘DEFIANCE Act’ 등 국내외 입법은 이러한 외재적 위험에 대한 법적 대응책이라고 볼 수 있다.

합성물 처벌의 실효성을 좌우하는 핵심 요소 중 하나는 해당 제작물이 합성물인지에 대한 식별 가능성이다. 그렇다면 인간은 현재 인공지능으로 조작된 영상을 얼마나 정확히 구분할 수 있을까. 생체 인증 기업 iProov가 2025년 발표한 연구에 따르면, 고품질 딥페이크에 대한 인간의 식별 정확도는 24.5%에 그쳤으며, 제시된 모든 영상을 정확히 판별한 참가자는 전체의 0.1%에 불과했다. AI는 사람보다 더 잘 구분해낼 수 있을까?

권위 있는 AI 학회 NeurIPS 2025에 게재된 ‘From Specificity to Generality: Revisiting Generalizable Artifacts in Detecting Face Deepfakes’는 딥페이크 탐지 모델이 특정 생성기의 고유한 흔적에 과도하게 의존하는 경향이 있음을 지적한다. 학습되지 않은 새로운 생성 기법이 등장할 경우 성능이 급격히 저하될 수 있다는 것이다. 결국 오늘의 범죄는 탐지할 수 있을지라도, 내일의 범죄는 놓칠 수 있다.

이러한 한계를 보완하기 위해, 생성 단계에서부터 보이지 않는 표식을 콘텐츠에 삽입하는 기술도 연구되고 있다. 이른바 지문(Fingerprinting) 기술로, 사람의 눈에는 드러나지 않도록 픽셀 분포에 미세한 패턴을 심어두는 방식이다. 이후 해당 콘텐츠에서 이 지문이 검출되면, 합성물인지 아닌지를 비교적 쉽게 확인할 수 있다. 그러나 이 역시 만능은 아니다. 이미 오픈소스로 공개된 생성형 AI 모델이 다수 존재하고, 삽입된 지문을 제거하는 기술도 함께 발전하고 있기 때문이다. 결국 탐지 기술이든 지문 기술이든, 공격과 방어가 끊임없이 맞물리는 술래잡기의 구조 속에 놓여 있다.

머지않은 미래에는 그 어떤 방법으로도 진위를 완벽히 판별하기 어려운 생성 모델이 등장할 것이다. 그렇다면 법 역시 ‘합성물을 식별할 수 있다’는 전제 위에 설계되기보다, ‘식별이 어려운 상황에서도 피해자를 구제할 수 있는’ 구조로 전환될 필요가 있다. 예를 들어, 진위 입증의 부담을 피해자가 아니라 콘텐츠의 유통 주체에게 전환하는 방안이나, 생성 모델 사업자에게 출처 기록을 의무화하고 그 부재 자체를 과실로 간주하는 방식이 검토될 수 있다. 이러한 접근은 이미 EU AI Act와 국내 ‘인공지능 발전과 신뢰 기반 조성 등에 관한 기본법’에서 합성물 표시 의무 등의 형태로 일부 구현되고 있다. AI 기술이 빠르게 발전하는 만큼, 최악의 악용 가능성까지 상정한 법 설계가 필요할 때이다.

김호기 교수(중앙대학교 산업보안학과)