연구진은 이미지에서 3D 형상을 추정하는 새로운 방법인 World Tracing을 발표했어요. 이 방법은 보이는 픽셀에 맞춰 3D 점을 예측하면서 동시에 가려진 영역의 기하 정보도 보완합니다.
World Tracing은 WT-DiT라는 diffusion transformer를 활용하여 픽셀 단위로 정렬된 3D 점들을 예측하고, 여러 기하층을 분리하여 노이즈 제거 토큰으로 처리합니다.
World Tracing은 객체, 장면, 동적 벤치마크에서 기존 방법보다 뛰어난 성능을 보이며, 텍스트 기반 3D 장면 편집, 새로운 시점 비디오 합성 등 다양한 분야에 활용될 수 있습니다.