SplitStream: 전경-배경 분리 기반 3D 가우시안 스플래팅 스트리밍 기법

SplitStream: Foreground–Background Separation-based 3D Gaussian Splatting Streaming Technique

초록

본 연구는 3D Gaussian Splatting(3DGS) 기반 실시간 자유시점 비디오(FVV) 재구성에서 빈번히 발생하는 모션 블러와 고스팅 아티팩트를 줄이기 위해, Neural Transformation Cache(NTC)를 전경-배경 이중 경로로 학습하는 SplitStream을 제안한다. 첫 프레임에서SAM2 기반 2D 마스크와 Space Carving으로 전경/배경을 분리하고, 동적 마스크를 이용한 선택적 NTC 학습 기법과 error-awaredensification으로 동적 영역의 추적 정확도와 정적 영역의 시간적 안정성을 동시에 확보한다. N3DV와 MobileStage 데이터셋에서 실험한 결과, 기존 방법 대비 PSNR이 평균 +0.72dB 향상되었고, 급격한 모션 상황에서도 아티팩트 없이 선명한 객체 경계를 유지하며안정적이고 신뢰할 수 있는 실시간 스트리밍이 가능함을 확인했다.

키워드

3D Gaussian Splatting; Free-viewpoint Video (FVV); Foreground-Background Separation; Neural Transformation Cache (NTC); Real-time Streaming
제목
SplitStream: 전경-배경 분리 기반 3D 가우시안 스플래팅 스트리밍 기법
제목 (타언어)
SplitStream: Foreground–Background Separation-based 3D Gaussian Splatting Streaming Technique
저자
조한나; 황혜민; 이장원
DOI
10.5909/JBE.2025.30.6.979
발행일
2025-11
유형
Y
저널명
방송공학회 논문지
권
30
호
6
페이지
979 ~ 988