연구진이 저조합 카메라로 인간 장면을 재구성하는 StudioRecon 파이프라인을 제안했어요. 배경과 인간을 분리하여 비디오 확산 모델로 새로운 시점을 합성하고, 변형 가능한 가우시안 인간을 초기화하는 방식으로 작동해요. 재구성된 장면의 품질을 높이기 위해 동적 움직임에 맞춰 일관성을 주입하는 재귀적 향상 모듈을 사용했어요.
기존 방식은 밀집된 카메라 배열로 고품질의 입체적 인간 성능을 얻지만, 실제 환경에서는 카메라가 부족해 품질이 저하되는 문제가 있었어요. StudioRecon은 이러한 한계를 극복하고, 새로운 시점 합성, 인간 대체 등의 응용 가능성을 보여줘요.
StudioRecon은 네 개의 실제 데이터셋에서 새로운 시점 합성에 대한 최고 성능을 달성했으며, 배경 감독을 강화하기 위해 비디오 확산 모델로 수백 개의 새로운 시점을 합성했어요.