연구진은 Vision-Language Model(VLM)의 조립 추론 문제 해결을 위해 기존 방식인 장면 그래프 삼중항(s, p, o) 주입 방식의 한계를 지적했어요. 이 방식은 텍스트 레이블과 시각 모달리티 간 충돌로 인해 GQA 정확도가 오히려 감소하는 문제점을 보여줬어요.
HyperVis는 장면 그래프 생성기(SGG)의 의미적 병목 현상을 우회하는 새로운 접근 방식을 제시하며, N개의 클래스-무관 영역 제안으로부터 시각 관계 텐서를 계산하고 로렌츠 초곡면으로 투영하여 공간적 물리 법칙을 통해 계층 구조를 강제해요.
HyperVis는 학습 시간 정규화 및 추론 시간 관계 인코더로서 두 가지 상호 보완적인 방식으로 기여하며, 학습된 곡률은 기존의 초곡면 VLM보다 훨씬 높은 $κ{=}4.0$으로 안정화돼 시각적 특징이 강력한 곡률 공간을 필요로 한다는 것을 시사해요.
연구진은 HyperVis의 조립 추론 능력 향상이 유클리드 공간에서는 제한적이며, 로렌츠 초곡면에서만 특이하게 나타남을 확인했으며, 관련 코드는 TBA에 공개될 예정이에요.