연구팀은 AI 기반 CAD 프로그램 생성 성능을 측정하기 위한 통합 벤치마크 CADBench를 공개했습니다. CADBench는 딥CAD, 퓨전 360 등 6개의 벤치마크 패밀리와 5가지 입력 방식, 6가지 평가 지표를 포함합니다. 11개의 모델을 벤치마킹한 결과, CAD 특화 모델이 일반적인 비전-언어 모델보다 우수한 성능을 보였습니다.
CADBench는 기하학적 정확도, 실행 가능성, 프로그램 간결성 등 6가지 지표를 평가하며, 복잡한 기하학적 구조에서 성능 저하, 입력 방식 변화에 대한 취약성, 평가 지표에 따른 모델 순위 변화 등의 문제점을 드러냈습니다. 이 벤치마크는 편집 가능한 3D 재구성 및 다중 모드 CAD 이해에 대한 진척 상황을 측정하는 데 활용될 수 있습니다.
CADBench는 Hugging Face 데이터셋(https://huggingface.co/datasets/DeCoDELab/CADBench)에서 공개되었으며, 연구팀은 CAD 프로그램 생성 AI 성능 향상을 위한 진단 테스트베드로 활용될 것으로 기대하고 있습니다.