연구진은 3D 생성 시스템의 자동 평가를 위한 벤치마크인 3D-DefectBench를 공개했어요. 이 벤치마크는 VLM(Vision-Language Model)뿐 아니라 렌더링 방식, 시각 정보, 작업 명시, 인간 라벨링 방식 등 평가 파이프라인 전반을 분석합니다.
3D-DefectBench는 기하학, 텍스처, 프롬프트 준수 등 9가지 세부 결함을 이진 분류하여, 생성기 개발 및 평가판 판단에 필요한 정보를 제공해요.
연구 결과, VLM 선택이 인간 라벨과 가장 큰 상관관계를 보이지만, 카메라 프로토콜, 시각 입력, 프롬프트 스키마 등 다른 요인도 성능에 영향을 미쳐요. 6개의 RGB 뷰 프로토콜이 효율적인 기본 설정으로 나타났어요.