[4th-AI] "피지컬 AI 위험 현실화..다층 방어체계 구축 필요"

국회 'AI 안전 어디까지 준비되었나?' 토론회

손산 "한국, 피지컬 AI 안전 국제 기준 제안국 역할 가능"

최대선 "환각 넘어 물리적 사고 단계..AI 안전 핵심은 시스템 통제"

손산 박사(사회정책연구소 무하유)가 2026년 5월 7일 오후 서울 여의도 국회의원회관 제6간담회의실에서 열린 'AI 안전 어디까지 준비되었나?: AI 안전의 글로벌 동향과 대응방안을 중심으로' 토론회에서 '제2의 블레츨리 선언은 가능한가: 피지컬 AI가 제기하는 새로운 도전과 주요국 거버넌스 비교'를 주제로 발표하고 있다. /사진=강민혁 기자

로봇·자율주행 등 피지컬 인공지능(AI) 확산으로 기존 생성형 AI 중심 거버넌스 체계만으로는 군사용 자율무기체계와 민간 인프라 공격 등 새로운 위험에 대응하기 어렵다는 지적이 나왔다.

AI 안전 논의 역시 단순 답변 통제를 넘어 시스템 전체를 어떻게 설계·통제할 것인지로 이동하고 있으며, 평가·권한 제어·모니터링·비상 정지 등 다층적 대응 체계 구축이 필요하다는 의견도 제시됐다.

7일 오후 서울 여의도 국회의원회관 제6간담회의실에서 'AI 안전 어디까지 준비되었나?: AI 안전의 글로벌 동향과 대응방안을 중심으로' 토론회가 열렸다.

손산 박사(사회정책연구소 무하유)는 '제2의 블레츨리 선언은 가능한가: 피지컬 AI가 제기하는 새로운 도전과 주요국 거버넌스 비교' 주제 발표에서 로봇·자율주행 등 '피지컬 AI' 확산에 대응한 새로운 글로벌 안전 거버넌스 논의가 필요하다고 주장했다.

손 박사는 2023년 영국에서 열린 세계 최초의 'AI 안전 정상회의'(AI Safety Summit)에서 미국·유럽연합(EU)·중국 등 28개국이 참여해 채택한 국제 AI 안전 협력 체계인 '블레츨리 선언'을 언급하며, 고도화된 AI 시스템 위험에 대한 공동 대응 필요성이 국제 사회의 핵심 의제로 떠올랐다고 설명했다.

그는 피지컬 AI의 등장이 기존 AI 거버넌스 체계의 전제를 흔들고 있다고 진단했다.

기존 생성형 AI 중심 논의가 정보 생성과 디지털 환경 위험에 집중됐다면, 피지컬 AI는 자율주행·로봇·산업 자동화 등 현실 세계와 직접 연결되면서 군사용 자율무기체계와 민간 인프라 공격 등 새로운 위험을 수반한다는 설명이다.

손 박사는 민간 기업 중심 자율규제와 국가 개입이 동시에 확대되는 '이중 팽창' 현상이 나타나고 있다고 분석했다.

미국과 EU 중심 기존 AI 규제 모델만으로는 이러한 변화에 충분히 대응하기 어렵다는 것이다.

손 박사는 '제2의 블레츨리 선언' 가능성도 제시했다.

그는 "피지컬 AI 안전 기준은 국제 무역과 시장 접근의 조건이 될 수 있다"며 "안보뿐 아니라 경제적 이해관계 역시 국제 협력을 촉진하는 요인이 될 수 있다"고 말했다.

이어 "한국·영국·캐나다·일본 등 중견국 간 연대가 미·중·EU 중심 표준 경쟁을 중재할 수 있다"며 "영국이 블레츨리 선언을 통해 프런티어 AI 안전 논의를 주도했다면 한국은 피지컬 AI 안전 분야에서 새로운 규범적 역할을 수행할 수 있다"고 강조했다.

아울러 AI기본법 보완 필요성도 언급했다.

손 박사는 "피지컬 AI를 포함하는 고영향 AI 기준 재정의와 다중 행위자 책임 체계 도입, 국제 표준 연계 메커니즘 제도화 등이 필요하다"고 설명했다.

최대선 숭실대 AI안전성연구센터장은 'AI 안전 이슈와 대응 기술' 주제 발표에서 AI 안전 논의의 중심이 단순 답변 통제를 넘어 시스템 전체를 어떻게 설계·통제할 것인지로 이동하고 있다고 진단했다.

최 센터장은 "AI 안전의 핵심은 답변 통제가 아니라 시스템 통제"라며 "말하는 AI에서 행동하는 AI, 움직이는 AI로 발전하면서 위험 역시 환각과 정보 유출을 넘어 에이전트 오작동과 물리적 사고 단계로 확장되고 있다"고 말했다.

그는 생성형 AI 시대의 주요 위험으로 환각, 개인정보 및 기밀 유출, 편향·차별, 딥페이크 등을 제시했다.

AI가 메일·파일·데이터베이스(DB)·코드를 직접 다루는 에이전트 시대로 넘어가면서 프롬프트 인젝션, 과잉 권한, 자동 실행 등 새로운 보안 위협이 등장하고 있다고 설명했다.

로봇·자율주행 등 피지컬 AI 영역에서는 인식 오류와 계획 오류, 제어 오류, 환경 변화 등에 따른 안전 리스크가 현실화될 수 있다고 분석했다.

대응 방안으로는 비상 정지 기능과 속도·힘 제한, 지오펜싱(가상 경계 구역 설정), 시뮬레이션, 사람 감독 체계 등을 제시했다.

최 센터장은 통제 불가능성 문제 역시 공상과학 수준 논의가 아니라 AI 위임 한계의 현실적 문제라고 강조했다.

그는 "과잉 위임과 불투명성, 과도한 자율성, 형식적으로만 인간 승인 절차를 두는 휴먼 인 더 루프(Human-in-the-Loop) 방식 등이 단기적 통제 상실로 이어질 수 있다"고 말했다.

이어 "장기적으로는 목표 정렬 실패와 통제 회복 어려움 등의 문제가 발생할 수 있다"고 밝혔다.

또 "완전한 해법보다는 겹겹의 방어 체계를 구축하는 것이 현실적"이라며 평가·권한 제어·모니터링·비상 정지·사고 대응 체계를 함께 설계해야 한다고 설명했다.

그러면서 "모델 자체를 무조건 신뢰하기보다 시스템 전체를 안전하게 설계하는 접근이 중요하다"고 덧붙였다.

발제 후 진행된 토론은 △윤석규 AI안전포럼 의장을 좌장으로 △손승우 법무법인 율촌 상임고문 △채효근 한국IT서비스산업협회 부회장 △송동석 노바테크 대표 △김영문 TTA AI 융합시험연구소장 △정찬원 한국사람연구원 본부장 등이 참여했다.

이번 토론회는 김종민 의원실과 한국IT서비스산업협회가 주최하고, AI안전포럼이 주관했다.

최대선 숭실대 AI안전성연구센터장이 2026년 5월 7일 오후 서울 여의도 국회의원회관 제6간담회의실에서 열린 'AI 안전 어디까지 준비되었나?: AI 안전의 글로벌 동향과 대응방안을 중심으로' 토론회에서 'AI 안전 이슈와 대응 기술'을 주제로 발표하고 있다. /사진=강민혁 기자

2026년 5월 7일 오후 서울 여의도 국회의원회관 제6간담회의실에서 'AI 안전 어디까지 준비되었나?: AI 안전의 글로벌 동향과 대응방안을 중심으로' 토론회 관계자들이 기념 사진을 촬영하고 있다. /사진=강민혁 기자