연구진은 산업용 CAD 코드 생성을 위한 통합 벤치마크인 BenchCAD를 발표했습니다. BenchCAD는 17,900개의 실행 가능한 CadQuery 프로그램을 포함하며, 비벨 기어, 압축 스프링, 트위스트 드릴 등 106개의 산업 부품 패밀리를 다룹니다.
BenchCAD는 시각적 질문 답변, 코드 질문 답변, 이미지-코드 생성, 지침 기반 코드 편집을 통해 모델을 평가하여 인식, 매개변수 추상화, 실행 가능한 프로그램 합성 능력을 분석합니다.
현재 시스템은 대략적인 외형 기하학은 복구하지만, 산업용 CAD 프로그램을 정확하게 생성하는 데 어려움을 겪으며, 3D 구조 누락, 매개변수 오해, 필수적인 CAD 연산 대체 등의 실패가 빈번합니다.