연구진은 복잡한 구조나 손실 함수 없이 이미지 픽셀 공간에서 3D 기하 정보를 추정하는 PointDiT 모델을 발표했어요. PointDiT는 기존 방식보다 단순하면서도 뛰어난 성능을 보이며, 특히 투명한 물체 영역에서 강점을 보여요.
모델은 사전 학습된 DINOv3 이미지 토큰으로 컨디셔닝된 3D 포인트 맵 패치 기반의 Diffusion Transformer로 구성돼 있어요. 기존 방식과 달리, PointDiT는 디퓨전 백본을 처음부터 학습하여 포인트 맵 토크나이저가 필요 없어요.
연구 결과, PointDiT는 복잡한 잠재 공간 기반 디퓨전 모델보다 성능이 뛰어나고, 기존 하이브리드 방식보다 훨씬 단순한 구조를 갖는다는 것을 확인했어요.