연구진이 저조합 카메라로 4D 인간 장면을 재구성하는 파이프라인 'StudioRecon'을 개발했어요. 배경과 인간을 분리하여 비디오 확산 모델로 배경을 보강하고, 변형 가능한 가우시안 인간을 초기화하는 방식으로 작동해요. 동작에 적응하는 일관성 주입을 통해 조립된 결과물의 아티팩트를 최소화했어요.
StudioRecon은 네 개의 실제 데이터셋에서 새로운 뷰 합성 성능이 최고 수준을 달성했으며, 새로운 경로 렌더링, 인간 대체 등 다양한 응용 가능성을 보여줬어요. 기존 방식은 저조합 환경에서 품질 저하 및 관찰되지 않은 영역이 존재했지만, StudioRecon은 이러한 한계를 극복했어요.
비디오 확산 모델은 기하학적으로 일관되지 않은 결과를 보여주는 한계가 있었지만, StudioRecon은 이러한 문제를 해결하고 더욱 자연스러운 4D 인간 장면 재구성을 가능하게 해요.