[NetSec-KR 2026] "모델 성능만으로는 부족하다"...국내 LLM 보안·안전성...

숭실대학교 AI안전성연구센터 나현식 교수

2026년 4월 16일 서울 삼성동 코엑스 컨퍼런스룸(남) 3·4층에서 열린 ‘NetSec-KR 2026 제32회 정보통신망 정보보호 컨퍼런스’에서 숭실대학교 AI안전성연구센터 나현식 교수는 ‘국내외 LLM 보안·안전성 평가 및 레드티밍’을 주제로 키노트 발표에 나섰다. 이번 행사는 한국인터넷진흥원(KISA)이 주최하고 한국정보보호학회(KIISC)가 주관했으며, ‘Strong Security Fundamentals for AI Transformation’을 슬로건으로 4월 16일부터 17일까지 진행되고 있다.

이날 발표는 생성형 AI 확산 속에서 국내외 거대언어모델(LLM)의 안전성을 어떤 기준으로 검증해야 하는지, 또 실제 서비스 단계에서 어떤 위험이 드러나는지를 체계적으로 짚었다는 점에서 주목을 받았다.

나 교수는 단순히 모델 자체의 성능만 비교하는 방식으로는 현실의 위험을 충분히 설명할 수 없으며, API와 입출력 필터, 서비스 연동 구조까지 포함한 실제 운영 환경 전체를 봐야 한다고 설명했다. 발표에서는 비표준 환경에서도 다양한 LLM을 평가할 수 있는 프레임워크를 구성하고, 국내외 20개 안팎의 모델을 대상으로 보안·안전성 리스크를 비교했다고 소개했다. 이는 최소 1.2B에서 650B 규모의 파라미터를 가진 모델과, 안전장치가 적용된 모델까지 함께 고려한 평가였다.

유해요청·탈옥·프롬프트 인젝션까지…현실 공격 시나리오로 검증

발표에 따르면 연구진은 보안·안전성 평가를 위해 3개 유형, 7개 세부 공격 사례로 구성된 총 57종의 공격 셋을 만들고 1만1,350개의 질의를 통해 모델 반응을 검증했다. 평가 항목에는 유해 요청(Harmful Request), 탈옥 공격(Jailbreak Attack), 프롬프트 인젝션 공격(Prompt Injection Attack)이 포함됐다. 세부적으로는 Unsafe Query, 유명한 탈옥 프롬프트, 역할부여형 탈옥, 간접 인젝션 등 실제 현장에서 충분히 악용 가능한 방식들이 들어갔다.

평가 방식도 단순하지 않았다. 유해성 여부를 판별하는 규칙 기반 평가와 실제 정답 문장과의 일치 수준을 비교하는 방식이 함께 사용됐다. 유해 요청과 탈옥 공격에는 LLM 평가자를 활용한 루브릭 기반 판정이 적용됐고, 프롬프트 인젝션 공격은 정답과 실제 응답이 얼마나 일치하는지를 따지는 방식으로 점검했다. 이는 ‘정확히 차단했는가’와 ‘의도한 방향으로 응답이 유도됐는가’를 각각 따로 살펴보려는 접근으로 해석된다.

특히 발표에서는 국내외 서비스 및 모델 접근 경로를 함께 나눠 분석했다. 허깅페이스, AWS 세이지메이커, AWS 베드록, 프렌들리AI, 오픈AI, 클로바 등 다양한 제공 구조를 포함해 평가를 진행했으며, 같은 계열 모델이라도 어떤 플랫폼과 필터 체계를 거치느냐에 따라 결과가 달라질 수 있음을 보여줬다. 이는 LLM 도입 조직이 모델명만 비교해서는 안 되고, 실제 연결 구조와 운영 정책까지 같이 검증해야 한다는 것을 강조한 것이다.

국내 모델, 해외보다 전반적 열세…통합 환경서 격차 더 커

이날 공개된 핵심 분석 가운데 하나는 국내 모델과 해외 모델 간 보안·안전성 격차였다. 발표에서는 국내 모델이 전반적으로 해외 모델 대비 약 82% 수준의 안전성을 보였고, 대부분의 공격 유형에서 해외 모델보다 낮은 보안·안전성 결과를 나타냈다고 설명했다. 특히 서비스와 연계된 통합 환경에서 모델 간 차이가 더 크게 벌어졌다.

단독 실험 환경에서는 일부 국내 모델이 해외 모델과 유사한 수준을 보이는 사례도 있었지만, 서비스 통합 환경으로 넘어가면 결과는 달라졌다. 국내 모델의 단독 평균 점수가 해외 모델보다 낮았고, 서비스 통합 환경에서도 해외 서비스군이 더 높은 안전성 점수를 기록한 것으로 제시됐다. 이는 단순히 모델 학습 수준의 문제가 아니라, 서비스 단계에서 적용되는 필터링과 차단 로직, 정책 통제 수준까지 포함한 종합적인 차이로 읽힌다.

탈옥 공격에 대한 실험도 인상적이었다. 온라인상에서 유통되는 탈옥 템플릿과 커뮤니티 데이터셋을 바탕으로 실제 방어 수준을 점검했는데, 일부 상위 해외 모델은 상대적으로 높은 방어력을 보였지만 전체적으로는 모델별 편차가 상당히 컸다. 반면 국내 모델군은 안전성 방어에서 더 불안정한 모습이 확인됐고, 서비스 환경에 따라 유해 요청 대응 수준이 크게 달라지는 경향도 나타났다. 이러한 결과는 생성형 AI를 공공·기업 업무에 적용할 때 단순한 편의성보다 안전성 검증이 먼저 이뤄져야 한다는 것이다.

발표의 후반부는 앞으로의 대응 방향에 집중됐다. 나 교수는 일회성 점검이나 점수 비교만으로는 실제 AI 위협에 대응하기 어렵다고 보고, 자동화 레드티밍과 퍼플티밍 체계의 필요성을 강조했다. 자동화 레드티밍은 공격 시나리오를 더 빠르게 만들고 반복 평가할 수 있다는 장점이 있지만, 단순 자동화만으로는 방어 체계 강화까지 연결되기 어렵다. 이에 따라 공격 중심의 레드팀과 방어 중심의 블루팀을 함께 움직이게 하는 퍼플티밍 개념이 중요해진다고 설명했다.

또 마이크로소프트의 AI 레드팀 프레임워크와 오픈소스 기반 자동화 레드티밍 도구 사례도 함께 언급됐다. 공격자, 시스템, 목표, 피해 유형을 구조화해 자동으로 평가할 수 있는 방향이 소개됐고, 향후에는 AI가 직접 공격 패턴을 만들고 방어 체계를 훈련시키는 구조로 발전할 수 있다고 내다봤다. 다만 이런 체계가 실효성을 가지려면 국내 환경, 특히 한국어 특유의 표현과 맥락을 반영한 데이터와 평가모델이 반드시 필요하다는 점도 함께 짚었다.

실제로 이날 발표에서는 한국어 전용 레드티밍의 어려움이 별도 과제로 제시됐다. 한국어는 어순과 의미 전달 방식, 우회 표현이 다양해 단순 키워드 중심 탐지로는 유해 질의를 정확히 판별하기 어렵고, 한국어 유해 응답에 최적화된 평가모델도 충분하지 않다는 것이다. 더구나 상당수 평가용 모델이 한국어 평가 성능이 낮은 한계를 보이고 있어, 국내 특화 안전성 평가 체계를 만들려면 한국어 유해 질의·응답 데이터셋과 이를 정확히 판정할 수 있는 모델이 함께 발전해야 한다는 설명이 뒤따랐다.

나 교수는 발표를 마무리하며 국내 AI 생태계가 평가에서 끝나는 것이 아니라 지속적인 퍼플티밍 체계로 넘어가야 한다고 강조했다. 최소 연 1회 이상 정기적인 평가를 수행하고, 한국어 특화 퍼플티밍 체계를 통해 국내 인공지능 모델과 서비스의 실제 위협 대응력을 높여야 한다는 것이다.

더불어 연구기관과 기업, 기관이 함께 기본 인프라를 강화하고 평가 역량을 축적해야 국내 특화 AI 보안·안전성 강화 생태계를 만들 수 있다고 제언했다. 이번 발표는 AI 전환 속도가 빨라질수록 경쟁력의 기준도 달라질 수밖에 없다는 점을 다시 보여줬다. 이제 중요한 것은 모델이 얼마나 똑똑한가만이 아니라, 얼마나 안전하게 통제되고 검증되는가다.