연구진은 시각-언어 모델(VLM)에서 개념 일관성을 높이는 Structured Sparse AutoEncoder ($S^2AE$)를 제안했어요.
$S^2AE$는 이미지 패치를 그룹화하고 희소성 정규화를 도입하여 시각 모달리티에서 의미론적 기반의 개념을 전문화하도록 유도해요.
Qwen2.5-VL-7B-Instruct 모델 평가 결과, 의미론적 정렬(mIoU)이 평균 6.06% 향상되고 표현 효율성(l0 norm)이 60.81 감소했어요.
교차 모달 분석 결과, $S^2AE$는 시각적 구조적 사전 지식을 통해 다중 모달 기능의 의미론적 일관성과 단일 의미론성 점수를 각각 3.08% 및 2.37% 향상시켰어요.