[시큐리티핫이슈] AI 헛발질 막는 '가디언 AI' 부상...잇단 공급망 보안...

[디지털투데이 황치규 기자] 사람 없이 특정 작업들을 자동화하는 AI 에이전트가 확산되고 있는 가운데, AI 에이전트가 악성코드처럼 행동할 수 있다는 우려도 일각에서 나오고 있다.

ㆍAI 에이전트, 악성코드처럼 작동할 수 있다…통제 장치 마련 시급

메타, 아마존 같은 주요 기업들에서도 AI 에이전트 오작동으로 보안 문제와 서비스 장애가 발생하면서, AI 에이전트를 감시·통제하는 이른바, '가디언 AI 에이전트(guardian AI agent)'에 대한 관심이 고조되고 있다. 스타트업들은 물론 유력 테크 기업들도 가디언 AI 시장에 진출했거나 진출을 검토 중이다. 가디언 AI는 클라우드 앱 형태로 제공된다. 기업 내 에이전트들이 어떻게 행동해야 하는지 규칙을 설정하고 에이전트가 이를 벗어날 경우 가디언 AI가 담당자에게 경보를 보내거나 에이전트 행동을 변경한다.

디인포메이션 최근 보도를 보면 아마존웹서비스(AWS)·세일즈포스(Salesforce) 임원 출신인 타티아나 마무트(Tatyana Mamut)가 이끄는 가디언 AI 스타트업 웨이파운드(Wayfound)는 금융·테크 업계 중심으로 약 12개 유료 고객사를 확보했다.

헤지펀드들이 리서치 리포트 작성 AI 에이전트 감시에 웨이파운드 가디언AI를 활용하고 있다. 웨이파운드는 에이전트 작업 1만 건 기준 월 750달러 구독료를 부과한다고 디인포메이션은 전했다.

세일즈포스는 지난해 웨이파운드를 자사 AI에이전트 플랫폼 에이전트포스 공식 '모니터링 파트너'로 지정했다. 이스라엘 스타트업 에이번AI(Avon AI)도 유사한 구독·사용량 복합 요금제로 여러 기업 고객들과 다년 계약을 체결했다.

가디언 AI를 향한 대형 테크 기업들 행보도 빨라지고 있다. 클라우드 기반 기업용 소프트웨어 업체 서비스나우는 자사 AI 에이전트들은 물론 마이크로소프트, 아마존 등 경쟁사 에이전트까지 모니터링하는 가디언 에이전트를 판매하고 있다. 'AI 컨트롤 타워(AI Control Tower)' 형태로 구독료와 사용량 기반 요금을 함께 부과한다.  세일즈포스도 가디언 AI 개발을 검토 중인 것으로 알려졌다.

국내 보안 업체들은 AI 기반 포트폴리오 확장에 속도를 내는 모습이다. 파수는 ‘파수AI(파수에이아이)’로 사명을 변경하고 AX(AI 혁신)를 지원하는 기업으로 본격 전환한다. 파수AI는 이번 사명 변경을 기점으로 향후 관련 사업을 적극 강화한다. 기업용 AI 플랫폼 및 에이전틱 AI 등을 통한 AI 도입 지원은 물론, AI 거버넌스 확보와 AI레디(AI-Ready) 데이터 관리 및 보호를 위한 포트폴리오를 확대한다. 라온시큐어는 업스테이지와 에이전틱AI(Agentic AI) 보안 자동화 개발 및 사업화 업무협약을 맺고 기업 보안 전반을 AI가 자동 운영하는 ‘에이전틱AI 기반 보안 자동화 플랫폼’을 올해 안에 선보이기로 했다.

ㆍ파수, 파수AI로 재탄생...”AX 지원 기업 정체성 강화”

ㆍ라온시큐어, 업스테이지와 협력...연내 에이전틱AI 기반 보안 자동화 플랫폼 출시

소프트웨어 공급망을 겨냥한 공격도 계속되고 있다. 북한 해커들이 주요 자바스크립트(JavaScript) 라이브러리인 엑시오스(Axios) NPM(Node Package Manager) 패키지를 변조해 수백만 건 악성 배포를 일으킨 공급망 공격이 확인됐다. 수백만 개발자가 쓰는 인공지능(AI) 게이트웨이 솔루션 업체 라이트LLM(LiteLLM)이 보안 컴플라이언스 스타트업 델브(Delve)와 결별하고 다른 업체를 통해 보안 인증을 다시 받겠다고 공개적으로 밝혔다.

ㆍ북한 해커, 엑시오스 NPM 패키지 공급망 공격…3시간 만에 수백만 건 배포

ㆍAI 게이트웨이 라이트LLM, 악성코드 공격 노출 후 논란의 보안 업체 '델브'와 결별

그외 AI를 둘러싼 국내외 기업들 행보를 정리했다.

AI가 크리스마스 시즌 피싱 사기를 정교하게 만들며 보안 위협이 증가했다. [사진: 셔터스톡]

아마존웹서비스(AWS)가 데브옵스 에이전트(AWS DevOps Agent)와 보안 에이전트(AWS Security Agent)를 출시했다. 두 에이전트는 데브옵스 팀과 보안 팀들이 24시간 이용할 수 있는 AI 팀원 역할을 한다. 사람이 사후 문제 해결에 쏟는 시간을 줄이고, 사전 최적화에 집중할 수 있도록 지원하는데 초점이 맞춰져 있다.

ㆍAWS, 데브옵스·보안 AI에이전트 출시…24시간 장애 감지·침투 테스트 자동화

메가존클라우드는 클라우드 보안 기업 지스케일러(Zscaler)와 제로트러스트 기반 클라우드 보안 강화를 위한 전략적 파트너십을 체결했다. 염동훈 메가존클라우드 대표는 자체 컨퍼런스에서 AI가 기업 현장에서 뿌리를 내리는 것과 관련해 엔터프라이즈 트러스트 레이어와 변화 관리 2가지를 강조했다. 이를 기반으로 클라우드 기반 AI 컴퓨터를 모든 직원들이 쓰는 시나리오를 비전으로 제시했다.

ㆍ메가존클라우드, 지스케일러와 제로트러스트 기반 클라우드 보안 사업 확장

ㆍ"트러스트 레이어· 변화 관리 모두 갖춰야 엔터프라이즈AI 확산 가능"

오픈AI 코딩 에이전트 ‘코덱스(Codex)’에서 명령어 주입(command injection) 취약점이 발견돼 깃허브(GitHub) 인증 토큰이 탈취될 수 있었다는 보고서가 나왔다.

ㆍ"오픈AI 코덱스 취약점, 명령어 주입으로 깃허브 인증 토큰 탈취 가능"

앤트로픽이 개발 중인 것으로 알려진 신형 AI 모델 클로드 미토스(Mythos) 관련해 해커 손에 들어갈 경우 보안 취약점을 방어자가 대응하는 속도를 훨씬 앞질러 악용될 수 있다는 우려가 나오면서 보안 업계에서 관심을 모으고 있다. AI로 인해 보안 업체들 입지가 축소되는 것이 아니라 오오히려 커질 것이란 관측도 나오고 있다.

ㆍ"앤트로픽 신형 AI 모델, 해커 무기될 수도"…사이버보안 업계 긴장

ㆍ[Tech Insight]AI는 보안 산업을 죽이지 않고 크게 키울 것이다...왜?

정책 부문에선 개인정보보호위원회가 최근 카드사 주민등록번호 처리 의무 위반에 대해 제재한 데 이어, 후속 조치로 금융권 주민등록번호 수집·이용 등 처리실태에 대한 사전 점검을 실시한다. 한국인터넷진흥원(KISA)은 고도화하는 랜섬웨어 공격에 체계적으로 대응하기 위해 ‘랜섬웨어 전주기 대응 추진단’(이하 추진단)을 발족했다.

한국정보통신기술협회(TTA)는 인공지능(AI) 모델 신뢰성 확보와 데이터 보호를 위한 'AI 보안' 표준화 전담 프로젝트 그룹(PG507)을 신설했다. 조인철 더불어민주당 의원 은 정보통신 서비스 제공자의 로그기록 보존 의무를 강화하고, 침해사고 발생 시 관련 서버를 즉시 증거로 보전하도록 하는 내용의 '정보통신망 이용촉진 및 정보보호 등에 관한 법률 일부개정법률안'을 대표 발의했다

ㆍ개인정보위, 금융분야 개인정보 보호 사전 실태점검 추진

ㆍ한국인터넷진흥원, ‘랜섬웨어 전주기 대응 추진단’ 발족

ㆍTTA, 'AI 보안' 표준화 전담 프로젝트 그룹 신설

ㆍ'침해사고 핵심 로그 즉시 보전'… 조인철, '로그기록 의무화' 법안 발의