WarpHammer는 기존 novel view synthesis(NVS) 방식의 한계를 극복하기 위해 개발된 새로운 프레임워크입니다. 기존 방식은 큰 시야 변화 시 워프가 희소해져 품질이 저하되는 문제를 겪습니다. WarpHammer는 3D 생성 모델을 활용해 객체의 3D 재구축 정보를 워핑된 장면과 결합하여 이 문제를 해결합니다.
재구축된 객체는 사라진 전경 표면을 보완하고 가려져야 할 배경 점을 가려 시야를 복원합니다. 이를 통해 기존 모델의 파인튜닝 없이도 성능을 향상시킬 수 있습니다.
WarpHammer는 외부 소스의 보조 뷰를 통합하는 기능도 제공합니다. 예를 들어, 자동차의 임의의 사진과 제조사 스튜디오 촬영본을 함께 사용하여 더욱 정확한 3D 객체 재구축이 가능합니다.
다섯 가지 벤치마크 테스트에서 WarpHammer는 기존 방식이 실패하는 시야에서도 안정적인 결과를 보여주었으며, 외부 보조 뷰를 통합하는 첫 번째 장면 레벨 NVS 방법으로 평가받고 있습니다.