AI 보안 전문기업 에임인텔리전스가 BMW 그룹과 공동 개발한 기업용 AI 정책 준수 평가 프레임워크 ‘COMPASS’ 연구가 자연어처리 분야 최정상급 학회 ACL 2026(Association for Computational Linguistics)에 공식 채택됐다.
이번 연구는 표준 안전 테스트를 통과한 AI 모델도 실제 기업 환경에서 적용되는 복잡한 정책 준수에는 실패한다는 사실을 밝혀냈다. 클로드·챗GPT·제미나이·라마 등 15개 최신 모델을 평가한 결과 의료·금융·자동차 등 전 산업군에서 AI 모델이 기업 내부 금지 규칙의 97%를 제대로 따르지 않는 것으로 나타났다. 의료 챗봇이 의료 진단을 제공하거나, 금융 어시스턴트가 직접적인 투자 조언을 하는 식이다. 기존 AI 안전 평가가 독성·폭력 같은 보편적 위해만 측정할 뿐 조직별 정책 준수 능력은 검증하지 못해 생기는 사각지대다.
COMPASS(Company/Organization Policy Alignment Assessment)는 이 문제를 해결하기 위해 4가지 검증 단계를 통해 해석이 불분명한 조항이나 상충하는 규칙을 찾아내어 오작동 비율을 줄이는 프레임워크다. 깃허브와 허깅페이스에 무료로 공개돼 기업들이 자사 정책에 맞춰 AI 시스템을 직접 평가할 수 있다.
이번 프로젝트에는 에임인텔리전스·BMW 그룹을 필두로 연세대학교·포항공과대학교·서울대학교 연구진이 공동 참여했다.
유상윤 에임인텔리전스 대표는 “일반적인 안전성만 측정하는 기존 테스트와 달리 COMPASS는 조직의 구체적인 규칙이 제대로 지켜지는지 평가한다”며 “기업과 공공기관이 AI를 안심하고 활용할 수 있도록 정책 준수 검증 기술을 지속 고도화하겠다”고 말했다.
COMPASS
에임인텔리전스
Platum
새롭게 등장하고 변화하는 스타트업 비즈니스의 현장을 생생하게 전달합니다.
댓글
✨ 많이 본 기사
위버스마인드, 2025년 매출 1,583억·영업이익 308억…창사 이후 역대 최대 실적
중기부, ‘모두의 창업’ 도전자 지원할 AI 솔루션 370개 모집 완료…21일부터 공개
큐팁, 김기사랩으로부터 시드 브릿지 투자 유치…AI 영상 플랫폼 ‘타쿠’ 고도화
휴머노이드 로봇, 인간의 하프마라톤 세계기록 깼다
페오펫 운영사 코스모스이펙트, 펫케어 기업 에스오엘코퍼레이션 인수…제품·전문가 네트워크 확장
댓글
0