(ㅍㅍㅅㅅ 이주환 기자) AI 에이전트 도입이 금융, 의료, 공공, 물류 등 전 산업으로 급속히 확산되면서, 서비스 배포 전 신뢰성을 확보하려는 수요가 급증하고 있다. 단순히 부적절한 답변 여부를 확인하는 수준을 넘어, 실제 서비스 환경에서의 판단력과 대응 능력을 정밀하게 평가해야 한다는 목소리가 높아졌기 때문이다.
AI 데이터·솔루션 전문기업 에이아이웍스(AIWORKX)는 AI 에이전트 신뢰성 평가 솔루션 '에이전트리커(AgentRigor)’를 오는 30일 정식 출시한다고 밝혔다.
AgentRigor는 AI 에이전트가 실제 서비스에 투입되기 전 응답 품질과 안전성, 컴플라이언스 대응 수준을 종합 점검하는 전용 솔루션이다. 특히 SW 분야 KOLAS 공인시험 기관이 설계 단계부터 참여해 평가 프레임워크의 객관성을 확보한 것이 특징이다.
기존 AI 평가 방식은 범용 벤치마크 데이터셋이나 단순 모더레이션 기준에 의존해, 기업별 특수한 도메인 상황이나 사용자 맥락을 반영하는 데 한계가 있었다. 특히 규제와 책임이 막중한 금융 상담이나 의료 정보 안내 분야에서는 단순 오답 확인을 넘어선 고도화된 검증 체계가 필수적이다.
AgentRigor는 이러한 한계를 극복하기 위해 ‘서비스 관점의 컴플라이언스 평가’를 전면에 내세웠다. AI의 답변을 이분법적으로 판단하지 않고, 특정 산업 맥락 내에서의 응답 방식과 잠재적 리스크를 심층 분석하는 구조를 갖췄다.
핵심 기능은 크게 세 가지다.
첫째, LLM 서비스의 실제 응답을 예상 답변과 대조해 정확성과 검색 연관성을 자동 측정하며, 자동 평가와 인적 평가 간의 상관관계를 분석해 지표 자체의 신뢰도까지 점검한다.
둘째, 실제 사용자 시나리오 기반의 안전성 검증이다. AIWORKX가 축적한 한국어 기반 안전성 데이터와 지표를 활용해, 실제 서비스 접점에서 발생할 수 있는 다양한 입력값에 대한 대응력을 살핀다.
셋째, 산업별 컴플라이언스 대응 지원이다. KOLAS 공인 인정기관의 검증 프로세스를 바탕으로, AI 기본법 및 금융권 규제 대응에 필요한 전문 평가 자료를 제공한다.
이 밖에도 도메인별 테스트 데이터 자동 생성, 온프레미스 및 클라우드 동시 지원 등 보안이 중요한 금융·공공 분야에 최적화된 설계를 자랑한다. 이미 국내 대형 IT 서비스 기업의 검증 자동화 프로젝트와 영유아 스킨케어 플랫폼 ‘새록’의 베타 테스트를 통해 단기간 내 대규모 케이스 검증 능력을 입증한 바 있다.
업계에서는 AI 에이전트가 업무 수행형 서비스로 진화할수록 사전 검증이 필수 인프라로 자리 잡을 것으로 보고 있다. AI의 오답이 곧 법적·운영 리스크로 직결되는 만큼, 평가 데이터와 지표가 얼마나 현장 실무를 잘 반영하는지가 시장 경쟁력을 결정지을 전망이다.
AIWORKX는 오는 5월 6일 열리는 ‘AI Expo Korea 2026’에서 라이브 데모를 공개하고, 향후 다중턴 대화 검증 및 에이전트 워크플로우 연동 등 기능을 고도화할 방침이다.
윤석원 AIWORKX 대표는 “AI 에이전트가 실제 업무를 수행하는 시대에 배포 전 신뢰성 검증은 선택이 아닌 필수”라며, “AgentRigor를 통해 국내 AI 에이전트 신뢰성 평가의 새로운 표준을 제시하겠다”고 강조했다.
(ㅍㅍㅅㅅ / PPSS ) 이주환 기자 kamchatka777@naver.com
댓글
0