[Tech & Now] 최은수 인텔리빅스 대표 "AI 패권, 자율성 아닌 '통제력'에 달렸다"

최은수 인텔리빅스 대표가 12일 서울 대한상공회의소 국제회의장에서 열린 '글로벌 인류공영 AI 포럼(GAFH) 2026' 기조연설에서 발표를 하고 있다. [출처=인텔리빅스]

최은수 인텔리빅스 대표가 물리적 세계에 직접 개입하는 '행동하는 AI(Acting AI)' 시대의 도래를 선언하며, 산업 현장에 투입되는 AI 시스템의 안전성과 통제가능성을 강도 높게 주문했다.

최 대표는 12일 서울 대한상공회의소 국제회의장에서 열린 '글로벌 인류공영 AI 포럼(GAFH) 2026' 기조연설에서 "AI 시대의 최종 승자는 '가장 자율적인 시스템(Autonomous Systems)'을 만드는 기업이 아니라, '가장 잘 통제되는 시스템(Governable Systems)'을 설계하는 기업이 될 것"이라고 말했다.

이날 최 대표는 AI의 적용 범위가 공장, 도시, 병원 등 현실 세계로 확장됨에 따라 오류 발생 시 초래될 위험성을 경고했다.

그는 "과거 분석형 AI의 오류는 엉뚱한 텍스트나 이미지를 생성하는 '불편함' 수준이었지만, 물리력을 행사하는 '행동하는 AI'의 단 한 번의 오류는 생명과 직결된 대형 산업 재해로 이어진다"며 "전기가 인류 문명을 발전시켰듯 AI도 혁명적이지만, 누전 차단기나 절연체 없는 전기는 시한폭탄과 같다. AI 역시 산업 현장에 투입되기 위해서는 반드시 완벽한 '비상 스위치'가 내장돼야 한다"고 역설했다.

특히 통제된 실험실 환경에서 도출된 'AI 정확도 95%'가 수많은 변수가 존재하는 실제 산업 현장에서는 치명적일 수 있다고 지적했다.

최 대표는 "가장 무서운 것은 AI가 확신에 차서 완전히 틀린 답을 내놓는 '그럴듯한 오류(Plausible Error)'"라며 "이러한 환각 현상은 인간의 판단을 마비시키고 기계를 맹신하게 만들어 결국 대형 사고와 막대한 기업 책임(Liability)을 초래한다"고 강조했다.

이에 대한 해법으로 최 대표는 설계 초기 단계부터 안전장치를 도입하는 'Risk-by-Design(설계 기반 리스크 관리)' 철학과 'T.R.U.S.T 프레임워크'를 제시했다.

해당 프레임워크는 △데이터 추적성 △위험 설계 차단 △인간의 절대적 통제권 하드코딩 △이중 검증 모델 △완전한 책임성 등 5가지 핵심 요소로 구성된다.

이날 인텔리빅스는 이 프레임워크가 실제 적용된 차세대 AI 관제 플랫폼 'Gen AMS'를 소개했다. 시각-언어 모델(VLM)이 탑재된 Gen AMS는 위험 상황을 자연어로 설명하며, 인간 작업자가 이를 근거로 최종 승인을 내리거나 즉각적으로 기계의 제어권을 무효화할 수 있도록 시스템적 워크플로우를 구현한 것이 특징이다.

끝으로 최 대표는 대한민국의 제조 인프라를 활용한 글로벌 AI 표준 선도의 필요성을 피력했다.

최 대표는 "한국은 범용 거대언어모델(LLM)을 넘어, 세계 최고 수준의 반도체 생산라인과 제조업, 스마트시티라는 완벽한 '물리적 인프라 테스트베드'를 보유하고 있다"며 "국가 차원에서 산업 특화 예외 상황 데이터 생태계를 구축하고, 기술 수출을 넘어 전 세계가 따라야만 하는 AI의 '신뢰 표준(Trust Standards)'을 우리가 직접 정의하고 선도해야 한다"고 덧붙였다.