글로벌 멀티모달 영상 AI 전문 트웰브랩스(대표 이재성)는 영상 속 맥락을 완벽히 이해해 스스로 구조화된 데이터를 생성하는 차세대 영상 추론 AI 모델 ‘페가수스 1.5(Pegasus 1.5)’를 전격 공개했다고 21일 밝혔다.
이번 업데이트의 핵심은 업계 최초로 선보이는 ‘시간 기반 메타데이터 추출(TBM)’ 방식의 도입이라고 강조했다. AI가 영상을 단순 시청하는 수준을 넘어, 사용자가 정의한 기준에 따라 영상을 정밀하게 구간 분할(Segmentation)하고, 각 구간의 시작과 종료 시점, 그리고 상세 내용을 구조화된 데이터로 추출하는 기술이다.
구체적으로는 ▲저수준 시각 신호(컷 편집, 카메라 앵글 및 조명의 변화 감지) ▲고수준 맥락 신호(대화 주제나 등장인물 전환 등 서사적 흐름 파악) ▲오디오 신호(발화자 교체, 배경음악의 변화, 효과음 분석 등) ▲복합 신호(세가지 신호가 상호작용하는 시점을 종합해 최종 경계 확정) 등 신호를 통합 분석해 구간 경계를 확정한다.
기존 영상 편집 및 아카이빙 작업은 숙련된 인력이 수천시간의 영상을 일일이 확인하며 구간을 나누는 수작업에 의존해 왔다. 하지만, 페가수스 1.5는 이 과정을 ‘언어’ 하나로 자동화한다는 설명이다. 개발자가 복잡한 코드를 짤 필요 없이 "뉴스 앵커가 바뀔 때마다 구간을 나눠줘" 혹은 "특정 출연자가 등장하는 서사 위주로 챕터를 구성해 줘"와 같은 자연어 명령만으로 영상의 구조를 설계할 수 있는 것이다.
즉, 하나의 장면을 검색하는 수준에서 나아가 또 다른 구조 및 콘텐츠로 ‘자산화’하는 단계까지 나아간 것이다. 이때 활용되는 핵심 기술이 TBM이다.
트웰브랩스 관계자는 “일반적인 영상 검색이나 태그 기능과는 차원이 다른 ‘구조 설계’ 모델”이라며 “기존 영상 분석 도구들의 경우, ‘이 영상에서 앵커가 몇번 나오는가’라는 질문에는 답할 수 있지만, ‘앵커가 바뀌는 순간마다 구간을 나누고, 각 구간의 시작 시점과 종료 시점을 시간 코드로 기록하며, 해당 구간의 특성을 JSON 데이터로 정의해줄 수 있는가’”라는 요구에는 대응하지 못한다”라고 말했다.
이어 “하지만, 페가수스 1.5를 활용하면 사용자가 ‘뉴스 앵커가 바뀔 때마다 구간을 나눠 줘’라고 자연어로 지시했을 때 AI가 영상 전체를 사용자의 기준에 맞춰 자동으로 분절하고, 각 구간에 정확한 시간 경계와 구조화된 데이터를 붙여준다”라며 “이는 단순한 '검색'이 아니라 영상의 '구조를 설계'하는 것”이라고 말했다.
이에 따라 기업들은 구조화된 데이터를 활용해 영상을 쿼리 가능한 자산으로 변환할 수 있다. 또 하나의 콘텐츠로 활용할 수도 있다.
근본적으로는 ‘영상을 이해하는 방법’에 차이가 있다고 전했다. 이전 모델인 ‘페가수스 1.2’는 영상을 인덱싱한 후 자연어로 질문하면 답변이나 요약을 제시하는 방식이었다.
뉴스 제작을 예로 들면, 페가수스 1.2는 앵커 변화를 찾기 위해 시스템에 "앵커가 언제 바뀌나요"나 "앵커 변화 지점들을 찾아 줘"라고 질문해야 한다. 각 구간을 일일이 확인하거나, 여러 번 질문해야 하고, 결과를 수작업으로 정리해야 하는 것이다.
하지만, 페가수스 1.5는 다르다. 뉴스 제작팀이 1시간짜리 프로그램을 업로드한 뒤 “앵커가 바뀔 때마다 구간을 나누고, 각 구간의 앵커 이름과 뉴스 주제를 추출해줘"라고 자연어로 지시하면 된다. 이후에는 AI가 전체 영상을 자동으로 분석해서 앵커 교체 시점을 모두 찾아내며, 각 구간의 시작 및 종료 시점, 앵커, 주제가 JSON 형식으로 자동 생성된다.
그 결과는 즉시 숏폼 콘텐츠 자동 생성, 메타데이터 아카이빙, 자막 처리에 활용할 수 있게 된다.
또, 단순한 텍스트 변환을 넘어 시각·청각·맥락 신호를 동시에 읽어내는 멀티모달 기술을 구현했다. 화면 전환이나 오디오 변화는 물론, 주제가 바뀌는 미세한 흐름까지 감지해 구간 경계를 찾아낸다는 설명이다.
‘멀티모달 쿼리’ 기능 강화로 사용자 편의성도 강화했다. 글로 설명하기 복잡한 대상도 이미지를 입력하면 영상 속에서 즉시 찾아낼 수 있다는 말이다. 최대 2시간 분량의 긴 영상을 한번의 API 호출로 구조화할 수 있어, 대규모 영상 자산을 보유한 기업들의 운영 효율을 높일 것으로 전망했다.
관계자는 “이번 모델은 고객들의 다양한 피드백을 바탕으로 개발됐다”라며 “특히 미디어와 엔터테인먼트 업계의 고객들이 대규모 영상 아카이브를 효율적으로 구조화하고 활용해야 한다는 수요를 반영했다”라고 말했다.
이어 “다만 이 기술은 미디어 분야를 넘어 스포츠 콘텐츠 분석, 보안 감시 영상 분류, 광고 브랜드 추적 등 모든 산업에 적용 가능하다”라며 “이후 사업 확장도 영상을 전략적 자산으로 활용하려는 기업 전반을 타깃으로 할 예정”이라고 말했다.
페가수스 1.5는 기존의 범용 언어 모델보다 우수한 성능을 입증했다. 구간 분할 정확도(Segmentation Quality) 평가에서 ‘구글 제미나이 3.1 프로’에 비해 13.1% 높은 성능을 보였다. 구간의 시간 경계 정확도는 약 350밀리초 이내로 유지된다. 뉴스 프로그래밍과 같은 복잡한 콘텐츠에서 JSON 형식의 구조화된 출력 안정성은 일반 모델 대비 우수한 것으로 나타났다.
이재성 트웰브랩스 대표는 “영상 안에 무엇이 있는지를 아는 것과, 그것이 정확히 어디에 있는지를 찾아내는 것은 전혀 다른 차원의 문제”라며 “페가수스 1.5는 이 두 번째 질문을 처음 본격적으로 해결한 모델”이라고 강조했다.
이어 “사용자가 무엇을 원하는지 기준만 정의하면 AI가 영상의 구조를 자동 설계하고 필요한 장면을 추출하는 방식이 보편화될 것”이라며 “영상 콘텐츠는 더 이상 소비 대상이 아니라, 기업이 자유롭게 가공·활용하는 데이터 자산으로 확장될 것”이라고 덧붙였다.
페가수스 1.5는
트웰브랩스 플랫폼
을 통해 이용 가능하다. 기업 고객을 위한 별도 상담은
웹페이지를 통해
신청할 수 있다.
장세민 기자 semim99@aitimes.com
댓글
0