[기획] 딥페이크 사기 기승… ESG, 이제 AI기업 ‘생존조건’

내년 AI 금융사기 피해 전망치

최대 400억달러까지 늘어날 듯

빗장걸 AI기본법 아직 계도기간

“워터마크·생성단계 선제 차단”

제미나이가 그린 일러스트.

생성형 인공지능(AI)을 악용한 딥페이크 범죄가 기승을 부리면서 AI기업의 윤리경영이 환경·사회·지배구조(ESG) 경영의 새로운 핵심 과제로 떠오르고 있다. 허위정보 유포와 명예훼손, 금융사기 등 딥페이크 범죄가 사회적 혼란을 키우는 동시에 기업의 브랜드 가치까지 훼손할 수 있다는 우려에서다. 정부와 국회가 제도 보완에 나섰지만, 기술 발전 속도를 따라잡으려면 AI기업 스스로의 자정 노력이 뒷받침돼야 한다는 지적이 나온다.

3일 금융업계에 따르면 딥페이크 기반 신원 사기는 얼굴 합성, 신분증 위조 등으로 수법이 갈수록 정교해지고 있다. 하나금융연구소가 지난달 발간한 AI 금융사기 보고서는 딥페이크·음성복제 등 AI를 활용한 금융사기 피해액이 지난해 약 210억달러에서 2027년 최대 400억달러로 불어날 것으로 내다봤다.

보고서가 인용한 KPMG 조사에서는 최근 1년간 사기 피해를 본 기업의 18%가 AI 기반 공격을 받았고, 이 가운데 72%는 두 차례 이상 공격을 당한 것으로 나타났다.

실제 피해사례도 국내외에서 잇따르고 있다. 2024년 2월 영국 엔지니어링 기업 아럽(Arup)의 홍콩지사 재무 담당 직원은 화상회의에서 본사 최고재무책임자(CFO)의 지시를 받고 약 2500만달러를 송금했다. 그러나 회의에 등장한 CFO와 동료들은 모두 생성형 AI로 만들어진 가짜였다.

국내에서는 캄보디아를 거점으로 100억원대 로맨스스캠을 벌인 부부 사기단이 대표적이다. 이들은 SNS에 올라온 일반인 사진을 모아 딥페이크로 30대 여성을 만들어내고 구체적인 신상정보까지 꾸며냈다. 이후 채팅앱으로 피해자들에게 접근해 가상화폐와 주식 투자금 명목으로 돈을 보내게 했다. 이들 부부는 지난 7월 1심에서 각각 징역 15년과 9년을 선고받았다.

범죄는 진화하는데 제도는 아직 걸음마 단계다. 올해 1월 시행된 AI 기본법은 생성형 AI 사업자에게 결과물 표시 의무를 부과하고, 실존 인물을 본뜬 딥페이크에는 눈에 보이는 표시를 하도록 했다. 하지만 위반 시 과태료는 최대 3000만원에 그치고, 그마저도 최소 1년의 계도기간이 적용돼 부과가 유예된 상태다. 지난 8월부터 딥페이크 표시 의무를 시행한 유럽연합(EU)이 위반 기업에 최대 1500만유로 또는 전 세계 매출의 3%를 과징금으로 물리는 것과 대조적이다.

정부는 제도 미비점을 발견하고 대응에 나섰다. 방송미디어통신위원회는 과학기술정보통신부·외교부·법무부 등과 ‘AI 범죄 대응 범부처 협의체’를 꾸리고, 지난 6월 26일 킥오프 회의를 열어 ‘AI 범죄근절 종합대응 계획’과 ‘AI 범죄 통합 대응체계 구축 방안’을 논의했다. 협의체는 예방, 탐지·차단, 수사·단속, 피해 회복, 재발방지 전 단계에 걸친 대응책을 마련하고, 부처별 정책 수단과 전문성을 연계해 AI 범죄 징후를 신속히 공유·분석하는 체계를 구축할 방침이다.

국회에서도 움직임이 일고 있다. 소병훈 더불어민주당 의원과 정점식 국민의힘 의원은 지난 9월 17일 ‘국회 보험범죄방지 연구포럼’을 발족하고 세미나를 열었다. 이들은 AI를 악용한 보험사기에 신속히 대응하기 위해 유관기관 간 혐의정보 공유와 관련법 개정 등 입법 조치를 추진하겠다고 밝혔다.

전문가들은 AI기업의 윤리적 책임 범위를 넓혀야 한다고 강조한다. 자사 기술이 범죄에 악용되는 것을 방치할 경우 소비자 불매, 규제 처벌, 투자자 이탈로 이어져 결국 기업 경쟁력에 타격을 입을 수 있다는 것이다. 딥페이크 대응이 ESG 평가와 기업 가치에 직결되는 리스크 관리 과제라는 얘기다. 제도 보완의 핵심으로는 AI 생성물에 워터마크를 삽입하고 이를 검증할 수 있는 체계를 갖추는 것이 꼽힌다.

김재구 명지대 경영대학 교수는 디지털타임스와의 통화에서 “워터마크와 관련해 C2PA라는 국제표준이 있지만 가입한 곳에서만 활용되고 있어 국제 표준이나 연대체가 만들어질 필요가 있다”며 “생성 단계에서부터 악용을 차단하는 ‘세이프가드 필터링’도 방법이다. 최근 방송 등에서 연예인을 사칭하는 딥페이크를 막는 데 활용할 수 있을 것”이라고 말했다.

아울러 “AI기업의 비즈니스 모델이 성공하려면 ESG 차원에서 윤리경영과 자정 노력을 필사적으로 해야 한다”면서도 “아직 미흡한 부분이 있는 만큼 개별 기업에 맡기기보다 국가 차원의 규제가 필요하다. AI 기본법이 만들어졌지만 계도기간이라 과태료가 부과되지 않고 있어 국가 정책 차원에서 한발 더 나아가야 한다”고 강조했다.

윤상호 기자 sangho@dt.co.kr