음성 AI 스타트업 인월드 AI가 사람의 감정과 말투를 실시간으로 이해하는 차세대 음성 모델을 공개했다.
인월드는 6일(현지시간) 단순히 텍스트를 읽어주는 기존 음성 합성(TTS) 방식에서 벗어나, 실제 대화 상대의 감정과 분위기를 파악해 반응하는 음성 AI 모델 ‘
리얼타임 TTS-2(Realtime TTS-2)
’를 출시했다.
인월드는 이번 모델을 연구 프리뷰 형태로 인월드 API와 리얼타임 API를 통해 공개했다.
핵심은 기존 TTS 시스템과 달리 사용자의 텍스트가 아니라 실제 음성 자체를 입력으로 이해한다는 점이다. 사람이 “그래, 알겠어(Okay, fine)”라고 말했을 때 기존 시스템은 단순히 문장만 해석하지만, TTS-2는 억양과 속도, 감정 상태까지 분석해 상대가 안도하는지 짜증 내는지 비꼬는 것인지를 구분한다.
카일런 깁스 CEO는 “지금의 AI 음성은 인간처럼 들리긴 하지만 결국 대본을 읽는 느낌”이라며 “오디오북과 대화하는 것 같은 어색함이 존재했다”라고 말했다. “실시간 대화야말로 인간의 가장 자연스러운 인터페이스이며, 감정 계층(emotional layer)을 해결해야 AI 음성의 대중화가 가능하다”라고 강조했다.
기술적인 특징은 ‘폐쇄 루프(closed-loop)’ 구조를 채택했다는 것이다. 이전 세대 음성 AI가 문장 단위로 독립 처리했다면, TTS-2는 이전 대화의 실제 음성 전체를 기억하고 맥락을 유지한다. 같은 문장이라도 농담 직후인지, 나쁜 소식을 들은 뒤인지에 따라 전혀 다른 톤으로 반응할 수 있다.
핵심 기능으로는 4가지를 제시했다.
첫번째는 ‘음성 연출(Voice Direction)’ 기능이다. 개발자는 단순한 감정 태그 대신 “[나쁜 일이 방금 일어난 것처럼 슬프게 말해줘]” 같은 자연어 지시문을 사용해 AI 음성 스타일을 제어할 수 있다. 또 [laugh(웃음)], [sigh(한숨)], [breathe(숨)], [cough(기침)] 같은 비언어적 표현도 텍스트 중간에 삽입 가능하다.
두번째는 ‘대화 인식(Conversational Awareness)’다. AI가 이전 대화의 감정 흐름과 속도, 분위기를 기억해 자연스럽게 이어서 반응한다.
‘다국어 지원(Crosslingual support )’도 가능하다. 하나의 음성 정체성을 유지한 채 100개 이상의 언어를 지원하며, 대화 도중 언어를 섞어 말해도 음색과 캐릭터가 유지된다.
마지막은 ‘고급 음성 디자인(Advanced Voice Design)’이다. 별도의 음성 샘플 없이도 “차분하고 따뜻한 중년 여성” 같은 설명만으로 새로운 AI 음성을 생성할 수 있다.
특히 주목되는 부분은 인간 특유의 ‘말버릇(disfluency)’ 구현이다. TTS-2는 “음…”이나 “어…”, 중간 멈춤, 자기 수정 같은 인간식 표현을 자연스럽게 생성한다. 인월드는 이를 통해 AI가 단순 기계가 아니라 실제로 “집중해서 듣고 있는 사람”처럼 느껴지게 만든다고 설명했다.
5~15초 분량의 음성만으로도 음성 복제(voice cloning)도 가능하다. 개발자는 업로드된 샘플을 기반으로 음성 ID를 생성하고 이를 애플리케이션에서 재사용할 수 있다.
TTS-2는 단독 모델이 아니라 인월드의 실시간 음성 플랫폼 일부로 작동한다. 시스템은 음성 인식(STT), 사용자 상태 분석, 200개 이상의 AI 모델 라우팅, 음성 합성까지 하나의 지속형 웹소켓(WebSocket) 연결 안에서 처리한다. 음성 생성 첫 응답 시간은 200ms 이하 수준이다.
아티피셜 애널리시스 스피치 아레나 리더보드 (사진=아티피셜 애널리시스)
인월드는 이미 이전 모델인 ‘리얼타임 TTS-1.5’로 아티피셜 애널리시스 스피치 아레나에서 2026년 5월 기준 1위를 기록했다. 이는 구글과 일레븐랩스를 앞선 결과다.
이번 TTS-2 공개는 음성 AI 경쟁 구도가 음질 경쟁에서 '행동과 감정 이해 경쟁'으로 이동하고 있음을 보여준다. 전문가들은 앞으로 고객 지원, 의료, 교육, 게임, AI 동반자 서비스 등 다양한 분야에서 감정 인식형 음성 AI 활용이 빠르게 확대될 것으로 보고 있다.
인월드는 소비자용 서비스보다는 개발자 인프라 기업 전략을 택하고 있다. 자체 앱 대신 API와 모델을 제공해 기업들이 자신만의 음성 AI 서비스를 구축할 수 있도록 지원할 계획이다.
박찬 기자 cpark@aitimes.com
댓글
0