연구진이 SVG 코드 수정 능력을 평가하는 새로운 벤치마크 'Vector-Bench'를 공개했어요. Vector-Bench는 40개의 SVG 수정 작업으로 구성되어 있으며, 모델이 요청된 변경만 수행하고 나머지 요소는 그대로 유지하는 능력을 테스트해요.
벤치마크는 시각적 결함을 설명하는 지침과 대상 프로그램, 수정 작업, 보호 객체 등으로 구성되어 있으며, 모델의 수리 진행률과 의도하지 않은 변경률을 측정해요.
현재까지 평가된 34개 모델 중 가장 높은 성능을 보이는 모델도 15%의 성공률을 기록하며, 수리 진행률과 정확한 편집 능력 간의 괴리를 보여주고 있어요.