연구진이 ER 다이어그램(ERD)의 구조적 이해를 평가하는 새로운 벤치마크 'ERUnderstand'를 공개했어요. 이 벤치마크는 2,960개의 ERD로 구성되어 있으며, 다양한 도메인과 복잡성을 포함해요.
기존 VLMs는 ERD의 일반적인 요소는 잘 인식하지만, 약한 개체, 다가치 속성, N-ary 관계에서는 성능이 현저히 떨어진다는 것을 확인했어요.
ERUnderstand는 다중 모드 이해 능력을 평가할 수 있는 표준 벤치마크를 제공하며, 관련 자료는 GitHub에서 공개돼요.