ASCIITermDraw-Bench는 VLMs가 ASCII 기반 이미지를 생성하고 편집하는 능력을 평가하는 새로운 벤치마크입니다. 기존 벤치마크가 코딩, 수학, 추론에 집중하는 것과 달리, 이 벤치마크는 모델이 텍스트만으로 정확한 다이어그램을 만들 수 있는지 평가합니다. 벤치마크는 기본 상자 레이아웃, 네트워크 토폴로지, 소프트웨어 아키텍처 다이어그램, 이미지 기반 다이어그램 편집 등 4가지 영역에 걸쳐 80개의 작업을 포함합니다.
구조 점수와 LLM 심사위원의 의미 점수를 통해 평가하며, 모델 성능은 Gemma-4-31B-IT가 73.8%로 가장 높게 평가받았습니다. 벤치마크는 Hugging Face에서 공개되어 누구나 작업 형식, 평가 과정, 벤치마크 실행을 검토할 수 있습니다.
ASCIITermDraw-Bench는 모델이 복잡한 다이어그램을 이해하고 수정하는 능력, 즉 창의적인 문제 해결 능력을 평가하는 데 중요한 역할을 할 것으로 기대됩니다.