클라우드 AI MSP 스마일샤크(대표 장진환)가 AWS 서밋 서울 2026에서 생성 AI 품질 관리 운영 사례를 공개했다.
스마일샤크는 20~21일 서울 코엑스에서 열린 AWS 서밋 서울 2026에 2년 연속 플래티넘 스폰서로 참가했다고 밝혔다. 이번 행사에서는 생성 AI와 클라우드 기반 서비스 운영 전략이 주요 주제로 다뤄졌다.
행사 첫날 열린 인더스트리 데이 발표 세션에서는 최병주 솔루션즈 아키텍트가 매경AX AI 팟캐스트 자동화 프로젝트를 사례로 발표를 진행했다. 핵심은 생성 AI 결과물의 오류를 줄이기 위한 ‘LLM-as-a-Judge’ 기반 품질 검증 체계였다.
스마일샤크는 AI 모델이 또 다른 AI의 결과물을 평가하는 구조를 통해 월 평균 15~20건 수준의 사실 오류를 월 1건 이하로 줄였다고 설명했다. 검수 인력 투입 시간도 약 90% 감소했다.
최 SA는 “생성 AI는 서비스 운영 단계에서 품질 관리 체계 구축이 중요하다”며 “모델 성능뿐 아니라 평가 체계와 실패 사례 관리까지 함께 이뤄져야 안정적인 서비스 운영이 가능하다”고 말했다.
행사장 내 플래티넘 부스에서는 야구단 포지션 테스트를 활용한 클라우드 추천 콘텐츠와 맞춤형 굿즈 이벤트도 운영됐다. 현장에서는 스타트업과 중소기업을 대상으로 한 AI 도입 상담도 이어졌다.
장진환 대표는 “생성 AI를 실제 업무 환경에 적용하려는 기업 수요가 빠르게 증가하고 있다”며 “현장 중심의 운영 경험과 사례 공유를 확대해 나갈 계획”이라고 밝혔다.
IT 업계에서는 최근 생성 AI 시장이 개념 검증 단계를 넘어 실제 서비스 운영 경쟁 국면으로 진입하고 있다는 평가가 나온다.
임대준 기자 ydj@aitimes.com
댓글
0