StructureClaw는 구조 공학 요청을 위한 다중 아티팩트 체인을 검증하는 새로운 벤치마크입니다. 기존 평가 방식의 한계를 극복하기 위해 설계됐습니다. StructureClaw-Bench는 150개의 시나리오로 구성된 실행 가능한 벤치마크로, 워크플로우 실행, 상호작용 로버스트성, 다중 모드 구조 모델 재구성을 포함합니다. 10가지 에이전트 모델 구성 평가 결과, 일반적인 기술 기반 라인 대비 성공률이 88.6%로 향상됐습니다.
StructureClaw는 LLM 에이전트가 통제된 공학 기술, 타입화된 도구, 공유된 아티팩트 상태, 로컬 분석 백엔드를 통해 작동하는 아티팩트 중심 작업 공간입니다. 수치 입력 오류 처리 및 구조 모델 재구성에 대한 과제 해결이 필요합니다. 코드와 벤치마크는 GitHub에서 확인할 수 있습니다.
StructureClaw는 기존 평가 방식으로는 발견하기 어려운 워크플로우 수준의 실패를 드러내어 구조 공학 에이전트 평가 및 개선의 기반을 제공합니다.