별도 3D 모델 제작 없이 화면 흔들림·잡음 줄여
초당 118프레임 구현…학부생 제1저자로 논문 게재
인하대학교 연구팀이 사진으로 구현한 3차원 공간을 안정적인 카툰 스타일 영상으로 바꾸는 기술을 개발했다. 별도의 정밀한 3D 모델을 만들지 않고도 화면 흔들림과 잡음을 줄이고, 카메라 움직임을 애니메이션처럼 연출할 수 있는 것이 특징이다.
인하대(총장 조명우)는 김종현 디자인테크놀로지학과 교수와 이연재 학부생이 ‘3D 가우시안 스플래팅(3D Gaussian Splatting·3DGS)’을 활용한 카툰 영상 구현 기술을 개발했다고 14일 밝혔다.
3D 가우시안 스플래팅은 여러 방향에서 촬영한 사진을 이용해 실제 공간을 빠르게 3차원으로 재현하는 기술이다. 가상현실(VR)과 증강현실(AR), 게임, 디지털 트윈 등에서 활용되고 있다.
그러나 기존 기술로 카툰 영상을 만들면 물체와 배경의 경계를 정확하게 구분하기 어려워 멀리 있는 배경에 불필요한 선이 생기거나 카메라 시점이 바뀔 때 화면이 흔들리는 문제가 있었다.
연구팀은 사진을 3차원 공간으로 바꾸는 과정에서 얻는 위치 정보를 활용해 물체와 배경 사이의 거리를 보다 정확하게 구분하는 방법을 개발했다. 연구팀은 이를 ‘프록시 깊이’라고 이름 붙였다. 정밀한 3D 모델을 따로 만들지 않고 기존 정보를 활용해 화면의 깊이를 보완하는 방식이다.
이를 적용하면 카메라와 가까운 주요 물체의 윤곽은 선명하게 살리면서 먼 배경에서 발생하는 불필요한 선과 잡음을 줄일 수 있다. 영상에서 거의 보이지 않는 요소도 미리 정리해 카메라가 움직일 때 발생하는 화면 깜빡임을 줄였다.
카메라 움직임에도 애니메이션에서 사용하는 연출 방식을 적용했다. 이동할 때 속도를 자연스럽게 높이거나 낮추고, 회전할 때 화면을 기울이거나 줌 효과를 강조하는 방식으로 역동적인 장면 전환을 구현했다.
실험 결과 연속적으로 카메라 시점이 바뀌는 상황에서도 기존 2차원 카툰 처리 방식보다 화면 흔들림과 시각적 불일치가 줄었다. 1280×720 해상도에서는 초당 평균 약 118프레임을 처리해 실시간 영상 제작에 활용할 수 있는 성능도 확인했다.
연구팀은 이번 기술을 가상·증강현실과 애니메이션, 게임, 디지털 트윈 등 실제 공간을 카툰이나 애니메이션 형태로 표현하는 콘텐츠 제작에 활용할 수 있을 것으로 보고 있다.
이번 연구에는 이연재 학부생이 제1저자, 김종현 교수가 교신저자로 참여했다. 연구 결과는 국제학술지 ‘IEEE Access’에 게재됐다.
김 교수는 “사실적인 공간 복원에 주로 활용되던 3D 가우시안 스플래팅을 비사실적이고 표현적인 콘텐츠 제작 영역으로 확장한 연구”라며 “학부생이 핵심 아이디어 구현과 실험에 주도적으로 참여했다는 점에서도 의미가 있다”고 말했다.
댓글
0