연구진은 일본 전통 문양인 가몬(Kamon)을 활용하여 시각-언어 모델의 조립적 요소 복구 능력을 평가하는 새로운 벤치마크인 KamonBench를 공개했습니다.
KamonBench는 2만 개의 합성 가몬 이미지와 함께 공식적인 설명, 일본어 분석, 영어 번역, 프로그램 코드를 제공하며, 모델이 요소별로 얼마나 정확하게 이해하는지 평가할 수 있습니다.
이 벤치마크는 ViT 인코더/트랜스포머 디코더, VGG n-gram 디코더 등 다양한 모델의 기준 성능을 제시하며, 시각-언어 모델 연구에 기여할 것으로 기대됩니다.