AI복지행정, 프로파일링·책임소재·인간개입 문제 등 한계 많아
"AI가 선제적으로 위기 상황 발굴·개입하도록 지원해야"
13일 국회의원회관 제1소회의실에서 개최된 'AI시대 인격권과 복지국가 과제' 정책 세미나에서 기조발제자로 나선 김재형 서울대학교 법학전문대학원 교수가 발언하고 있다. / 사진=김도영 기자
[시사저널e=김도영 기자] 인공지능(AI)이 공공행정과 복지 심사 시스템에 본격 활용되고 있다. 이런 가운데 AI 완전 자동화로 리스크 경중을 판단하기보다는 AI를 잘못 활용해 취약 계층의 위기 상황을 방치할 리스크 방지에 집중해야 한다는 분석이 제기됐다. 디지털 복지 국가에서 중요한 건 AI 기반 사회 서비스 자체가 아니라 국가가 AI를 통해 선제적으로 위기 상황을 발굴해 지원하는 것이라는 주장이다.
최보윤 국민의힘 의원이 주최하고 서울대학교 입법연구센터·한국입법학회·대한변호사협회가 주관하는 'AI 시대의 인격권과 복지국가의 과제' 정책 세미나가 지난13일 국회의원회관 제1소회실에서 개최됐다. 이날 주제발표자로 나선 정란 서울대학교 입법연구센터 선임연구원은 "인공지능 기본법이 시행되고 있는 지금, AI 복지 심사 시스템에 대해서 어떠한 수준의 투명성과 인간 감독을 요구할 것인지에 대해서 보다 구체적인 사회적 논의가 시급하게 이루어져야 한다"고 강조했다.
실제로 AI 복지 시스템이 고도화함에 따라 AI가 향후 복지 시스템의 세부적인 영역이나 자동화된 의사결정에 미치는 영향이 점차 광범위해지는 실정이다. 특히 AI가 데이터를 바탕으로 사람의 특성이나 행동을 분류하는 '프로파일링'은 AI의 학습·분석 데이터의 질과 양에 따라 정확도가 좌우된다는 점에서 정부의 정책과 행정적 처분에 대한 신뢰와 직결된다.
이정우 법무부 법무심의관실 검사는 "불안정한 프로파일링을 바탕으로 한 국가기관의 의사결정은 국민들에게 큰 불이익을 가져오게 되고 정부의 정책에 대한 신뢰의 위기를 가져오게 된다"며 "이렇게 될 경우 국민들은 복지 급여를 받기 위해 더 많은 정제된 데이터를 국가에 전달해야 한다는 생각을 갖게 된다"고 말했다. 국민들이 자동화된 인공지능의 의사결정에 자신의 생존을 위탁하는 결과로 이어진다는 입장이다.
AI의 의사결정 과정에 인간이 개입하는 구조를 설계해도 한계는 여전하다는 지적도 나왔다. 반복적으로 이뤄지는 인간의 행동 패턴을 데이터로 학습하는 AI의 특성상, 자동화 영역에서 AI가 이미 '조건 충족' 판단을 내리면 사람 담당자는 이를 그대로 기계적으로 승인하는 구조가 될 가능성이 높다는 것이다.
이 검사는 "사람 담당자가 인공지능의 판단과 다른 결정을 한 경우에도 책임 소재가 발생할 수 있는 부담이 생기고 그럼 결국 의사결정의 주체가 사실상 인공지능으로 고착화될 수 있다"고 설명했다.
생성형 AI의 의사결정 판단 구조가 투명하지 않은 것도 문제로 제기됐다. 복지급여 신청을 거부당했거나 처음부터 지급에서 배제된 경우 적법 절차 원칙상 그 처분에 대한 이유가 제시돼야 하는데 현재 수준에서는 명확한 이유 제시가 어려워 의미 있는 설명권이 형해화될 수 있다는 것이다.
13일 국회의원회관 제1소회의실에서 개최된 'AI시대의 인격권과 복지국가의 과제' 정책 세미나에서 정란 서울대학교 입법연구센터 선임연구원이 발언하고 있다. / 사진=김도영 기자
복지 시스템에 AI를 제대로 접목시키기 위해서는 지금처럼 자동화 여부로 AI를 규제하기보다는 AI가 선제적으로 복지 사각지대를 발굴하고 개입할 수 있도록 설계해야 한다는 분석이 나온다.
박상철 서울대학교 법학전문대학원 교수는 "행정기본법, 개인정보보호법, AI 기본법상 고영향 AI 판단기준이 일제히 완전자동화 여부로 리스크의 경중을 판단하는 것은 부적절하다"며 "완전자동화든, 부분자동화든 간에 위기 상황에 있는 계층의 복리와 사회적 비용의 경중에 따라 실질적으로 리스크 여부를 판단해야 한다"고 강조했다. AI 기반 사회서비스 자체의 리스크보다는 AI를 제대로 활용하지 못해 위기 상황을 방치하게 될 리스크에 초점을 두어야 한다는 입장이다.
이어 "현재 복지의 화두는 복지 탈신청주의, 즉 신청에 의한 복지가 아니라 AI, 데이터 등을 적극 활용해 국가가 위기 상황이 심화하기 전 먼저 발굴, 연계하고 개입하여 지원하는 것"이라며 "사람이 마지막에 고무도장을 찍는 프로세스적인 human-in-the-loop 보다는 이런 AI 기반 탈신청 적극 복지행정 과정에서 설계상 human-on-the-loop 를 구현하는 것이 관건이다"고 덧붙였다.
사람이 AI 자동화 영역에 형식적으로 개입하기보다는 AI가 위기 상황을 선제적으로 발굴하고 개입하는 구조를 사람이 지속적으로 감시하고 통제하는 방식으로 시스템을 설계해야 한다는 주장이다.
책임소재를 양분해야 한다는 의견도 제기됐다. 오성헌 법무법인 오킴스 변호사는 "복지와 AI 논의에서 가장 중요한 건 법적 책임을 누가 지는가다"며 "기술을 개발한 사람과 기술을 관리·감독하는 공무원들이 책임을 양분해 책임 소재를 명확하게 해야 한다"고 말했다.
최보윤 국민의힘 의원은 "대표발의했던 공공 부문 AI 활용 촉진 3법 등 신속하고 효율적인 행정 서비스와 국민 편익 증대가 기대될 수 있는 법안을 통과되게 해서 오늘 논의들이 법안으로 구체화될 수 있도록 신경 쓰겠다"며 "AI가 공공행정분야에 어떤 영향을 끼칠지는 여전히 불확실한 상황이지만 입법이 필요한 부분들은 판례가 나오기 전 선제적으로 대응하며 적극 임하겠다"고 강조했다.
댓글
0