연구진이 3D 모델링 코드를 활용한 LLM 성능을 평가하는 벤치마크 P3D-Bench를 공개했어요.
P3D-Bench는 텍스트/이미지 기반 3D 모델링, 부품 조립 등 세 가지 작업 유형을 포함하며, 모델이 생성한 3D 프로그램의 정확성, 의미 일치성, 구조적 일관성을 평가해요.
평가 결과, 모델은 전체적인 형태와 의미는 파악하지만 정확한 파라미터 기하학적 구조를 재현하는 데 어려움을 겪고 있으며, 특히 부품 조립 작업에서 성능이 부족한 것으로 나타났어요.
P3D-Bench는 LLM의 정밀한 파라미터 기하학 및 부품 수준 모델링 능력을 평가하는 데 활용될 예정이에요.