넷플릭스가 영상 속 특정 객체를 제거할 때 단순한 배경 복원이 아니라, 물리적으로 자연스러운 장면 변화까지 함께 생성하는 AI 모델을 오픈소스로 공개했다.
넷플릭스는 3일(현지시간) 영상에서 객체를 제거하고, 해당 객체가 장면 전체에 미친 물리적 영향까지 자동으로 조정할 수 있는 AI 프레임워크 ’
보이드(VOID·Interaction-Aware Counterfactual Video Generation)
’를 온라인 아카이브를 통해 공개했다.
기존 영상 객체 제거 기술은 주로 물체 뒤에 가려진 배경을 복원하거나 그림자, 반사 같은 시각적 요소를 보정하는 데 초점이 맞춰져 있었다. 그러나 사람이 물체를 밀거나, 물건이 떨어지는 등 물리적 상호작용이 포함된 장면에서는 부자연스러운 결과가 발생하는 한계가 있었다.
예를 들어, 영상에서 사람을 지웠는데도 주변 물체가 그대로 멈춰 있거나 충돌이 사라지지 않는 경우가 대표적이다. 이는 기존 모델이 장면의 ‘원인과 결과’를 이해하지 못하기 때문이다.
보이드는 이러한 문제를 해결하기 위해 비전-언어 모델(VLM)과 영상 확산 모델(video diffusion)을 결합한 새로운 프레임워크다.
사용자가 제거할 대상을 선택하면, AI는 먼저 객체가 장면에 어떤 변화를 일으켰는지 파악한다. 이후 단순히 객체만 삭제하는 데 그치지 않고, 물체의 움직임이나 충돌, 낙하처럼 그로 인해 발생한 변화까지 함께 반영해 주변 장면을 수정한다.
즉 “이 물체가 없었다면 어떤 일이 벌어졌을까”라는 반사실적(counterfactual) 시나리오를 생성하는 것이 핵심이다.
VOID. 사용자가 입력 영상을 제공하고 제거할 객체를 클릭해 마스크를 지정하면, VLM 기반 파이프라인이 해당 마스크를 확장해 영향을 받는 다른 영역까지 식별한다. 이후 VOID의 1차 단계에서 반사실적(counterfactual) 움직임을 예측하며, 선택적으로 수행되는 2차 단계에서는 초기 예측된 움직임에서 생성된 흐름 왜곡 노이즈를 활용해 객체 변형을 안정화한다. (사진=arXiv)
보이드는 이를 위해 장면을 네가지 영역으로 나누는 ‘쿼드마스크(quadmask)’ 방식을 사용한다. 제거할 객체와 겹치는 영역, 객체로 인해 영향을 받는 부분, 그리고 그대로 유지해야 할 배경을 구분해 인식한다. 이러한 정보를 바탕으로 확산 모델이 새로운 영상을 생성하며, 단순히 빈 공간을 채우는 수준을 넘어 물체 간 상호작용까지 반영된 자연스러운 결과를 만들어낸다.
모델은 1차 생성 단계에서 물리적으로 타당한 장면을 만들고, 필요할 경우 2차 보정 단계를 통해 객체 형태 왜곡 등 문제를 수정한다. 이 과정에서는 움직임 정보를 반영한 노이즈 보정을 통해 결과의 안정성을 높인다.
보이드는 단순한 데이터 학습이 아니라, 물리적으로 일관된 데이터를 만들기 위해 시뮬레이션 기반 데이터셋을 활용했다.
연구진은 쿠브릭(Kubric)과 HUMOTO 같은 시뮬레이션 환경을 이용해, 특정 객체를 제거했을 때 장면이 어떻게 변해야 하는지를 담은 쌍(pair) 데이터를 생성했다. 이를 통해 AI는 단순한 시각적 패턴이 아니라, 물리적 인과 관계 자체를 학습할 수 있게 됐다.
현실 세계 편집에 대한 인간 선호도 비교 (사진=arXiv)
실험 결과 보이드는 기존 영상 객체 제거 방식보다 장면의 시간적·물리적 일관성을 더 잘 유지하는 것으로 나타났다.
보이드의 모델 가중치는
허깅페이스
에서 다운로드할 수 있다.
한편, 넷플릭스는 업계 최고 수준의 AI 연구 조직인 '넷플릭스 리서치'를 운영하고 있다. 여기에서는 ▲개인화 및 추천 시스템 ▲콘텐츠 분석 및 제작 ▲스트리밍 및 인프라 최적화 등의 연구를 진행하고 있다.
이처럼 비즈니스 문제를 해결하기 위한 실용적 연구에 초점을 맞추고 있다는 점이 특징이다.
박찬 기자 cpark@aitimes.com
댓글
0