AI 오케스트레이션 경쟁 본격화/이미지=챗GPT 생성
| 스마트비즈 = 양대규 기자 | 기업 인공지능(AI) 활용 방식이 빠르게 변화하고 있다. 과거에는 성능이 뛰어난 AI 모델 하나를 도입하는 것이 핵심이었다면 현재 기업들의 관심은 여러 AI를 목적에 맞게 조합하고 통제하는 'AI 오케스트레이션(AI Orchestration)' 역량으로 옮겨가고 있다.
다양한 거대언어모델(LLM)이 동시에 등장하면서 AI 자체보다 이를 어떻게 관리하고 업무 흐름에 연결할 것인가가 경쟁력의 핵심 요소로 떠오른 것이다.
6일 업계에 따르면 국내 IT 서비스와 클라우드 업계는 AI 오케스트레이션을 차세대 핵심 사업으로 보고 플랫폼 구축에 속도를 내고 있다.
카카오는 자사 서비스 생태계에서 AI 기능을 유기적으로 연결하는 구조를 강화하며 기업 환경에서 여러 AI 서비스를 통합 운영하는 방향을 모색하고 있다.
한글과컴퓨터(한컴)는 문서·업무 자동화 영역에서 다양한 AI 모델을 선택적으로 활용하도록 지원하며 오피스 환경 중심의 오케스트레이션 전략을 추진 중이다.
삼성SDS는 생성형 AI 플랫폼 '패브릭스(FabriX)'를 통해 기업이 여러 LLM을 업무 목적에 맞게 선택하도록 지원한다. 내부 데이터와 AI 에이전트를 연결해 반복 업무 자동화를 구현하는 데 초점을 맞췄다.
LG CNS의 'DAP GenAI'는 AI 서비스, 프롬프트 관리, LLMOps 기능을 통합 제공하며 기업이 자체 데이터만 활용해 안전하게 AI를 운영하도록 설계됐다.
SK텔레콤은 통신망 운영 경험을 기반으로 'AI 오케스트레이터'를 발전시키고 있다. 관리자가 자연어로 명령하면 서로 다른 장비와 소프트웨어에 맞는 실행 방식으로 자동 변환하는 구조다.
클라우드 기업들도 적극적으로 참여하고 있다.
베스핀글로벌은 '헬프나우 AI'를 통해 다양한 LLM을 연동하고 기업 맞춤형 AI 에이전트 구축과 거버넌스를 통합 관리한다. 메가존클라우드 역시 'AIR(AI-Ready)' 플랫폼을 앞세워 기업 업무 프로세스를 AI 중심으로 재구성하는 서비스를 확대하고 있다.
AI 오케스트레이션이 주목받는 가장 큰 이유는 모델의 급증이다.
오픈AI, 구글, 앤트로픽 등글로벌 기업들이 경쟁적으로 LLM을 출시하면서 기업 입장에서는 어떤 모델을 언제 활용해야 하는지가 새로운 과제가 됐다.
오케스트레이션 플랫폼은 업무 특성에 따라 AI를 자동 배분한다. 단순 요약이나 번역은 비용 효율 중심 모델을 사용하고, 복잡한 분석이나 의사결정 지원에는 고성능 모델을 활용해 효율을 높이는 방식이다.
AI 운영이 확대될수록 비용과 보안 문제도 함께 커지고 있다.
오케스트레이션 시스템은 모델 호출량과 토큰 사용량을 실시간으로 관리해 예산을 통제하고, 데이터 접근 권한과 기록을 관리하는 거버넌스 기능을 수행한다. 민감한 기업 정보가 외부 AI로 무분별하게 유출되는 위험을 줄이기 위한 장치다.
또한 검색증강생성(RAG) 구조를 통합 관리해 AI의 환각 현상을 줄이고 내부 데이터 기반 검증을 거친 답변을 제공하도록 지원한다.
결국 AI 경쟁의 기준은 '가장 뛰어난 AI를 보유했는가'가 아니라 '여러 AI를 얼마나 효율적으로 운영하는가'로 바뀌고 있다. 국내 IT 서비스, 클라우드, 플랫폼, 소프트웨어 기업들이 동시에 AI 오케스트레이션 시장에 뛰어든 배경도 여기에 있다.
댓글
0