김용덕 아이피렉스 특허법률사무소 대표 변리사(사진:본지DB)
최근 인공지능(AI) 기술은 음성 인식, 음악 추천, 콘텐츠 필터링 등 다양한 오디오 처리 분야에서 핵심적인 역할을 수행하고 있으며, 특히 스트리밍 환경에서는 연속적으로 제공되는 오디오 데이터를 실시간으로 분석하고 구조화하는 기술의 중요성이 크게 증가하고 있다.
전통적인 오디오 처리 기술이 개별 신호의 특징을 인식하거나 특정 콘텐츠를 식별하는 데 집중되어 있었다면, 최근에는 시간적으로 이어진 신호를 하나의 흐름으로 이해하고 그 내부 구조를 해석하는 방향으로 발전하고 있다. 이러한 변화는 단순한 인식 기술을 넘어, 콘텐츠의 ‘구성 단위’를 자동으로 분리하고 재조합하는 기술로 이어지고 있다.
이와 같은 기술적 흐름 속에서 주목할 수 있는 것이 머신러닝 기반의 오디오 스트림 전환 검출 기술이다. 이는 라디오 방송이나 인터넷 오디오 스트림과 같이 음악, 진행자의 발화, 광고가 하나의 연속된 신호로 제공되는 환경에서 각 콘텐츠의 시작과 종료 시점을 식별하는 기술을 의미한다. 이러한 기능은 광고 제거, 음악 중심 재생, 사용자 맞춤형 콘텐츠 구성 등 다양한 서비스로 직결되며, 실제 산업적 활용 가능성이 매우 높다.
이와 관련해 미국 특허청(USPTO)으로부터 그 독창성을 인정받은 특허(U.S. Patent No. 11,935,520)는 이러한 기술적 요구를 구체적으로 구현한 대표적인 사례다. 해당 특허는 오디아(Auddia Inc.)가 보유하고 있으며, 2020년 12월 출원돼 2024년 3월 등록됐다. 발명의 명칭은 “머신러닝을 이용한 오디오 콘텐츠 변화 감지(Identifying shifts in audio content via machine learning)”으로, 머신러닝을 활용해 오디오 스트림 내 서로 다른 콘텐츠 간 전환 시점을 식별하는 기술을 핵심으로 한다.
이 특허가 해결하고자 하는 기술적 과제는 단순한 오디오 인식과는 구별된다. 기존 기술은 특정 음악을 데이터베이스와 매칭하거나 음성 신호를 텍스트로 변환하는 데 초점을 맞췄으나, 실제 사용자 경험 측면에서는 콘텐츠의 ‘종류’보다 ‘구간’이 더 중요한 요소가 된다. 예컨대 사용자는 광고 구간을 건너뛰거나 음악만 연속적으로 청취하기를 원할 수 있으며, 이를 위해서는 오디오 스트림을 의미 단위로 정확히 분할할 수 있어야 한다.
본 발명은 이러한 문제를 해결하기 위해 오디오 신호를 시간 축을 따라 세밀하게 분해하는 구조를 채택하고 있다. 구체적으로 입력되는 오디오 스트림은 3초 길이의 샘플로 분할되며, 각 샘플은 1초 간격으로 중첩되도록 구성된다. 즉, 하나의 시점이 복수의 샘플에 포함되도록 설계함으로써 특정 구간의 특성을 다양한 관점에서 분석할 수 있도록 했다. 이러한 중첩 구조는 전환 시점과 같이 짧은 시간 내 발생하는 변화를 보다 정밀하게 포착할 수 있게 한다.
각 샘플은 MFCC(Mel-Frequency Cepstral Coefficients) 기반의 특징 벡터로 변환된다. MFCC는 인간의 청각 특성을 반영해 주파수 정보를 압축한 표현 방식으로, 음성 및 음악 분석 분야에서 널리 사용되는 기법이다. 이를 통해 서로 다른 유형의 오디오 신호를 하나의 공통된 특징 공간에서 비교할 수 있도록 한다.
이후 단계에서는 두 가지 유형의 머신러닝 모델이 결합적으로 활용된다. 첫 번째 모델은 각 샘플이 어떤 유형의 콘텐츠에 해당하는지를 분류하는 역할을 수행한다. 이 모델은 입력된 3초 샘플을 기반으로 해당 구간이 음악인지, 진행자의 발화인지, 광고인지 등을 판단하며, 컨볼루션 신경망(Convolutional Neural Network, CNN)을 통해 시간-주파수 영역의 패턴을 효과적으로 학습한다.
두 번째 모델은 인접한 샘플 간의 관계를 분석하는 데 사용된다. 이 모델은 두 개의 연속된 샘플을 입력으로 받아, 이들이 동일한 음악 곡에 속하는지를 판단하는 이진 분류 문제를 수행한다. 이러한 구조는 단순히 개별 샘플의 성격을 판단하는 것을 넘어, 시간적으로 이어진 신호의 연속성을 평가한다는 점에서 중요한 의미를 갖는다. 특정 시점에서 두 샘플이 서로 다른 곡에 속한다고 판단될 경우, 해당 지점이 곡 간 전환 시점으로 추정될 수 있다.
이 두 모델의 결합은 전환 시점 검출의 정확도를 크게 향상시킨다. 특히 중첩 샘플 구조와 결합될 경우 전환이 발생한 시점을 초 단위 수준으로 좁혀 특정할 수 있다. 본 발명에서는 세 개의 연속된 샘플이 공통적으로 포함하는 시간 구간을 활용해 전환 시점을 도출하는 방식을 제시하고 있으며, 이를 통해 매우 정밀한 경계 검출이 가능하다.
그러나 머신러닝 모델의 출력은 확률적 특성을 가지므로 노이즈나 오분류가 발생할 수 있다. 이를 보완하기 위해 본 발명은 히든 마르코프 모델(Hidden Markov Model, HMM) 기반의 후처리 단계를 도입하고 있다. 비터비 알고리즘(Viterbi algorithm)을 활용해 전체 상태 시퀀스 중 가장 가능성이 높은 경로를 선택함으로써, 개별 샘플의 분류 결과를 시간적으로 일관된 형태로 정제한다. 이 과정에서는 과거와 미래의 일정 구간을 함께 고려해 결과를 보정함으로써 전환 시점 검출의 안정성을 높인다.
또한 이 기술은 메타데이터를 활용해 분석 효율성을 향상시키는 구조를 포함하고 있다. 방송 스트림에 포함된 곡 정보나 프로그램 정보 등을 기반으로 전환 가능성이 높은 구간을 선별하고, 해당 구간에 집중적으로 분석을 수행함으로써 연산 부담을 줄이면서도 높은 정확도를 유지할 수 있도록 설계됐다.
특허적 관점에서 보면 이 발명은 단순한 알고리즘 적용을 넘어 데이터 처리 구조와 모델 간 상호작용을 포함하는 시스템 전체를 보호 대상으로 설정하고 있다는 점에서 의미가 있다. 특히 연속된 오디오 신호에서 상태 변화 지점을 검출하기 위해 중첩 샘플링, 샘플 간 비교 모델, 확률적 후처리를 결합한 구조는 기술적 특징의 핵심을 이룬다.
이와 같은 구조는 단순한 구성 요소의 병렬적 결합이 아니라, 각 요소가 상호 보완적으로 작용해 전체 성능을 향상시키는 형태로 설계돼 있다는 점에서 진보성 판단에 중요한 요소가 될 수 있다. 또한 특정 모델 구조에 한정되지 않고 기능적 개념을 중심으로 구성돼 있다는 점에서 권리 범위 확보 측면에서도 전략적인 설계가 이뤄졌다고 평가할 수 있다.
결론적으로 이 특허는 인공지능 기술이 단순한 인식 단계를 넘어 시간적으로 연속된 데이터를 구조적으로 이해하고 재구성하는 방향으로 발전하고 있음을 보여주는 사례라 할 수 있다. 특히 오디오 스트림과 같은 연속 데이터에서 ‘경계’를 검출하는 문제는 향후 다양한 미디어 처리 기술에서 핵심적인 역할을 할 것으로 예상되며, 본 발명은 이러한 흐름을 선도하는 기술적 기반을 제시했다는 점에서 중요한 의의를 가진다.
필자, 김용덕 변리사는 아이피렉스 특허법률사무소의 대표 변리사로, 인공지능(AI), 스마트팩토리, 블록체인 등 4차 산업혁명 기술을 전문적으로 다루고 있으며, LG전자, 삼성전자, 수아랩, 마키나락스, 샤오미 등 국내외 유수 기업들의 지식재산권 업무를 전담한 경험을 보유하고 있다.
또한, 김용덕 변리사는 조달청에서 인공지능 및 IoT 기술과 관련된 우수 제품 평가 위원으로 활동하였으며, 기술특례상장과 관련된 전문 평가 기관에서 코스닥 상장 심사용 전문 평가 업무를 수행하고 있다. 저서로는 '인공지능 특허 심사 실무 가이드', '인공지능 특허 확보 전략', '지식재산권 권리이전 바이블', '상표 유사 판단 이론 및 판례', '기술특례상장 바이블' 등이 있다.<편집자 주>
댓글
0