연구진이 3D Gaussian Splatting(3DGS) 기반 3D 장면 재구현 방법인 GaussDet을 발표했어요. 기존 방식의 단점을 개선해 2D 객체 감지기로 언어 기반 객체 인식 및 참조 분할을 가능하게 해요.
GaussDet은 개별 Gaussian에 대한 인스턴스 특징을 학습하여 장면을 3D 인스턴스 그룹으로 분해하고, 2D 객체 감지기의 의미론적 투표를 집계하여 View-Aggregated Semantic Label Distribution(VASD)을 생성해요.
이 방법은 기존 방식보다 16.7% mIoU 향상된 참조 분할 성능을 보여줬으며, 복잡한 공간 추론과 참조 표현 기반의 이해를 가능하게 해요.
GaussDet은 LeRF-OVS, ScanNet, Ref-LeRF 데이터셋에서 기존 방법 대비 성능 향상을 입증하며, zero-shot 환경에서 강력한 성능을 발휘해요.