연구진이 정밀 시각 편집 성능을 평가하는 PaintBench 벤치마크를 공개했어요. PaintBench는 기하 변환, 구조 조작, 색상 변경, 상징적 추론 등 20가지 정밀 시각 편집 작업을 다루고 있어요. 절차적 생성 방식을 통해 무한히 확장 가능하며, 결정적 픽셀 단위 평가로 주관적인 판단 오류를 줄였어요. 11개 모델 평가 결과, 최고 성능 모델도 17.1%의 낮은 mIoU 점수를 기록했어요.
PaintBench는 장면 복잡성, 색상 구성, 편집 영역 크기 변화에 따른 성능 저하를 보여주는 진단 기능을 제공하며, 데이터 시각화 편집 작업인 TinyGrafixBench와 강한 상관관계를 보였어요. (R^2 = 0.91). PaintBench는 정밀 시각 편집 분야의 발전을 위한 기반을 제공할 것으로 기대돼요.