연구진이 3D 모델링 코드를 활용한 LLM 성능 평가 벤치마크 P3D-Bench를 공개했어요. P3D-Bench는 텍스트/이미지 기반 3D 프로그램 생성, 구조적 추론 능력을 평가합니다. 벤치마크는 실행 가능성, 기하학적 정확도, 텍스트 기반 제약 조건, 부분 수준 구조 등 6가지 측면에서 모델을 평가해요.
Text-to-3D, Image-to-3D, Assembly-3D 세 가지 작업 유형을 포함하며, 400개의 텍스트, 400개의 이미지, 203개의 어셈블리 데이터셋으로 구성돼요. 실험 결과, 어셈블리 작업이 가장 어렵고, 모델은 정확한 기하학적 파라미터를 복원하는 데 어려움을 겪는 것으로 나타났어요.
연구진은 P3D-Bench가 정확한 파라미터 기하학 및 부분 수준 구조를 평가하는 데 유용한 벤치마크가 될 것이라고 밝혔어요.