연구진은 MERU, HyCoCLIP, PHyCLIP 등 3가지 초곡선 시각-언어 모델 패밀리를 분석했어요. 모델의 성능을 평가하는 과정에서, 모델이 실제로 초곡선 기하학을 활용하고 있는지 확인하기 위한 진단 도구를 개발했어요.
모델의 기하학적 특성이 제대로 활용되려면 무차원 작동점 $\sqrt{c}ρ$ 가 중요하며, 방사형 및 원뿔 기계 장치가 활성화되어야 해요. 하지만 분석 결과, 대부분의 모델은 작동점이 거의 유클리드 평면에 가깝고, 원뿔 기계 장치가 제대로 작동하지 않는다는 사실이 밝혀졌어요.
계층 구조를 평가하는 기존 방식은 작동점과 관련 없이 각도 거리나 상자/조합적 감독에 의존하는 등, 실제 계층 구조를 제대로 반영하지 못하는 한계가 있었어요. 연구진은 이러한 문제점을 해결하기 위해 모델의 기하학적 특성을 평가하는 5가지 지표를 제시했어요.