PVCap은 3D 장면 내 객체별 상세 설명을 생성하는 새로운 방법입니다. 기존 연구의 한계인 공간 배치 다양성 부족과 단순 네트워크 구조 문제를 해결합니다. PseudoCap을 통해 데이터 증강을 하고, VoxelCapNet을 도입하여 객체 간 공간 관계 설명 능력을 향상시켰습니다. ScanRefer와 Nr3D 벤치마크에서 기존 최고 성능보다 각각 11.41%, 13.99% 성능 향상을 기록했습니다.
PseudoCap은 데이터셋 내 객체를 무작위로 섞어 다양한 공간 배치를 가진 가짜 프레임을 생성하고, 이를 통해 가짜 캡션 라벨을 얻어 모델 학습에 활용합니다. 이를 통해 학습 샘플 수를 늘리고 환경 설명 능력을 향상시킵니다. VoxelCapNet은 복셀 특징을 활용하고 캡션 헤드를 복셀 기반 네트워크 아키텍처에 맞게 조정하여 성능을 높입니다.
기존 연구는 장면 전체의 강직한 변환만 사용했지만, PVCap은 객체 수준에서 다양한 공간 배치를 생성하여 모델이 객체 간 공간 관계를 더 잘 이해하도록 돕습니다. 또한, PVCap은 캡션 생성 파이프라인 외의 백본과 검출 헤드 네트워크 아키텍처를 개선하여 풍부한 의미 정보를 추출합니다.
PVCap의 코드와 모델은 공개될 예정이며, 3D 장면 캡셔닝 연구에 기여할 것으로 기대됩니다.