연구진은 가상 프로덕션(VP)의 유연성을 높이기 위해 이미지 기반 조명을 활용하는 새로운 3D 재구성 및 리라이팅 프레임워크를 제안했습니다. 이 프레임워크는 기존 방식의 물리 기반 렌더링을 피하고 배경 이미지 편집만으로 조명 변경이 가능하도록 합니다.
새로운 프레임워크는 Gaussian Splatting을 사용하여 3D 장면을 재구성하고, 고정된 외관과 가변적인 조명 구성 요소로 분리하여 실제 VP 장면을 캡처합니다.
연구 결과, 제안하는 방식은 기존 방식보다 높은 품질의 3D 재구성과 제어 가능한 리라이팅을 달성하며, 효율적인 성능(35 FPS)을 보였습니다.