기업들의 인공지능 도입 속도가 내부 통제와 거버넌스 체계를 앞지르면서, AI가 새로운 생산성 도구를 넘어 새로운 경영 리스크로 떠오르고 있다는 조사 결과가 나왔다. 트렌드AI(TrendAI)는 전 세계 23개국 비즈니스 및 IT 의사결정권자 3,700명을 대상으로 진행한 글로벌 AI 연구를 통해, 많은 기업이 보안과 컴플라이언스 우려를 인식하고 있으면서도 경쟁 압박과 내부 수요에 밀려 AI 도입을 서두르고 있다고 밝혔다.
이번 조사에서 가장 눈에 띄는 대목은 ‘인식 부족’이 아니라 ‘통제 여건 부족’이었다. 응답자의 약 3분의 2는 보안 우려가 있는 상황에서도 경영진의 요구나 시장 압박 때문에 AI 도입을 가속해야 한다는 압박을 경험했다고 답했다. 또 응답자 46%는 안전한 AI 도입의 대표적인 장애물로 보안 또는 데이터 전문성 부족을 꼽았다. AI가 이미 현업과 개발, SaaS, 생산성 도구, 분석 시스템 전반으로 빠르게 스며들고 있지만, 이를 통합적으로 관리할 인력과 체계는 그 속도를 따라가지 못하고 있다는 의미다.
특히 문제는 AI 도구가 먼저 현장에 들어가고, 정책과 책임 체계는 나중에 따라붙는 구조가 고착되고 있다는 점이다. 보고서는 많은 조직에서 AI 도구가 이미 사용되기 시작한 이후에야 정책, 책임 소재, 모니터링 체계가 수립되고 있다고 짚었다. 이 때문에 혁신과 리스크 관리 사이의 간극이 커지고 있으며, 경영진이 이를 더 이상 기술 부서만의 문제로 미뤄서는 안 된다고 강조했다. 실제로 포괄적인 AI 정책을 갖춘 조직은 많지 않고, 53%는 여전히 AI 정책을 마련 중이라고 답했다.
AI는 이미 전사로 퍼졌는데, 기업은 어디서 어떻게 쓰는지도 다 모른다
가시성 문제도 심각했다. 조사에서는 IT 의사결정권자의 77%가 조직 내 AI 사용 현황을 포괄적으로 파악하고 있다고 답했지만, 동시에 22%는 AI 도입 현황을 부분적으로만 파악하고 있음을 인정했다. 보고서는 이 같은 자신감이 실제보다 낙관적일 수 있다고 진단했다. 직원들은 외부 AI 서비스를 시험적으로 쓰고, 개발팀은 애플리케이션에 모델을 붙이며, 각 사업부는 자체적으로 AI 기반 기능을 도입하고 있다. 이런 분산된 도입 구조가 계속되면 섀도우 AI 문제는 더 커질 수밖에 없다. 결국 기업은 자사 내부에서 어떤 AI가, 어떤 데이터에 접근하며, 어떤 업무 흐름에 연결돼 있는지부터 정확히 파악해야 한다는 지적이다.
규제 이해도 역시 낮은 수준에 머물렀다. 기업 의사결정권자의 약 64%는 AI를 규율하는 법적 프레임워크에 대한 이해도가 ‘약간’에서 ‘보통’ 수준이라고 답했다. 여기에 41%는 불명확한 규제 또는 컴플라이언스 기준을 AI 도입의 장애 요인으로 꼽았다. 유럽연합(EU)을 포함한 주요 지역에서 AI 규제 체계가 계속 발전하고 있지만, 기업 현장에서는 법과 정책이 정리되기 전에 서비스와 업무 프로세스에 AI가 먼저 투입되는 일이 반복되고 있다는 의미다.
책임은 누구에게 있나…CISO, 법무, 컴플라이언스 사이에 흩어진 AI 리스크
AI 리스크의 책임 주체가 명확하지 않다는 점도 이번 연구의 핵심 문제로 제시됐다. IT 의사결정권자의 44%는 AI 위험의 책임이 CISO나 보안 부서에 있다고 봤지만, 비즈니스 의사결정권자들은 데이터 보호, 법무, 규정 준수 팀에 책임을 둘 가능성이 더 높았다. AI 관련 보안 침해가 발생했을 때도 책임 주체에 대한 인식은 엇갈렸다. IT 측은 모든 당사자의 공동 책임 또는 개발자·공급업체 책임을 거론했고, 비즈니스 측은 시스템을 도입한 조직 자체를 가장 많이 지목했다. 이는 AI 리스크가 기술 문제이면서 동시에 경영 문제라는 사실을 보여준다. 보고서는 결국 거버넌스와 위험 책임은 최고 경영진 차원에서 정의돼야 하며, 보안 조직은 이를 실행하는 핵심 축이어야 한다고 정리했다.
트렌드AI가 강조한 또 다른 축은 공격자의 변화다. 보고서는 이미 위협 인텔리전스 분석을 통해 공격자들이 AI를 활용해 정찰 작업을 자동화하고, 더 정교한 피싱 공격을 만들며, 취약점 탐색 속도를 높이고 있다고 설명했다. 이는 AI가 방어 효율을 높이는 동시에 공격자의 진입 장벽도 낮추고 있음을 뜻한다. 기존에는 고숙련 공격자만 가능했던 작업이 AI를 만나 자동화되면서 공격의 속도와 규모, 반복성이 동시에 커지고 있다는 것이다. 기업 입장에서는 AI 도입 자체의 생산성 효과만 볼 것이 아니라, AI로 강화된 외부 공격 환경까지 함께 고려해야 하는 국면에 접어들었다.
에이전틱 AI 기대는 크지만, ‘킬 스위치’ 합의조차 아직 멀었다
자율형 AI, 즉 에이전틱 AI에 대한 기업들의 태도는 기대와 경계가 동시에 나타났다. IT 의사결정권자의 절반이 채 안 되는 48%만이 이런 시스템이 더 빠르고 지능적인 탐지를 통해 사이버 방어 능력을 크게 향상시킬 수 있다고 답했다. 보도자료 기준으로도 단기적으로 에이전틱 AI가 방어 역량을 크게 높일 것이라는 응답은 44% 수준에 머물렀다. 기대보다 신중론이 더 강하다는 뜻이다.
우려 요인도 구체적이었다. 보도자료에서는 42%가 AI 에이전트의 민감한 데이터 접근을 가장 큰 리스크로 지목했고, 36%는 악의적 프롬프트가 보안을 위협할 수 있다고 봤다. 또 33%는 공격 표면 확대를, 비슷한 비율은 신뢰받는 AI 지위의 악용과 자율적 코드 배포 위험을 우려했다. 동시에 약 31%는 이런 시스템에 대한 관측 가능성이나 감사 추적 기능이 부족하다고 인정했다. 에이전트가 실제 업무 환경에 투입된 뒤 어떤 데이터에 접근했고, 어떤 결정을 내렸으며, 문제가 생겼을 때 누가 어디서 개입할 수 있는지 아직 명확히 정리되지 않았다는 뜻이다.
이런 맥락에서 ‘AI 킬 스위치’ 논의도 등장했다. 보고서에서는 응답자의 20%가 AI 킬 스위치 프로토콜을 지지했고 절반가량은 판단을 유보하고 있다고 밝혔다. 보도자료는 약 40%의 조직이 장애나 오남용 발생 시 시스템을 중단하는 메커니즘 도입을 지지한다고 소개했지만, 거의 절반은 여전히 유보적이었다고 덧붙였다. 수치 차이는 자료 간 표현 방식 차이로 보이지만, 방향성은 분명하다. 기업들이 자율형 AI를 향해 움직이고 있으면서도, 가장 위급한 순간 통제권을 어떻게 확보할지에 대해서는 아직 공통 해법을 만들지 못하고 있다는 점이다.
이번 보고서는 해법도 함께 제시했다. 첫째, AI 확산 이전 단계에서 명확한 거버넌스 구조를 세워 책임 소재와 허용 가능한 사용 정책을 먼저 정해야 한다고 강조했다. 둘째, 조직 내 AI 애플리케이션과 모델, 데이터 흐름을 파악해 가시성을 확보해야 한다고 봤다. 셋째, 클라우드·엔드포인트·애플리케이션 전반의 텔레메트리와 제어를 연결하는 통합 플랫폼 중심 보안이 필요하다고 지적했다. 넷째, AI 기반 공격에 대비해 이상 행위와 신원 도용, 자동화된 정찰·피싱 징후를 모니터링해야 한다고 제안했다. 다섯째, 보안팀과 경영진, IT, 현업 부서가 함께 AI 도입 원칙을 정하고 운영 감독 체계를 공동으로 마련해야 한다고 권고했다.
결국 이번 조사 결과는 하나의 사실을 또렷하게 보여줬다. 기업들은 AI의 위험을 몰라서 준비를 못 하는 것이 아니었다. 위험을 알고도 시장 경쟁과 내부 요구에 밀려 먼저 도입하고, 나중에 통제를 붙이는 구조 때문에 더 큰 리스크를 키우고 있었다. AI 시대의 보안은 더 이상 제품 하나를 덧붙이는 문제가 아니다. 어디에 AI가 쓰이고 있는지 파악하고, 누가 책임질지 정하고, 어떤 상황에서 멈출지까지 정하는 경영 체계의 문제로 넘어갔다. 앞으로 AI 경쟁력은 모델 성능만이 아니라, 그 기술을 얼마나 통제 가능하게 운영하느냐에서 갈릴 것으로 보인다.
댓글
0