연구진은 시각적 인지 과정과 추론 과정을 연결하는 해석 가능성이 부족한 기존 추론 분할 방법의 한계를 극복하기 위해 SegCompass 모델을 제안했어요.
SegCompass는 희소 오토인코더(SAE)를 활용하여 추론 경로와 시각적 토큰을 연결하는 명확하고 해석 가능하며 미분 가능한 경로를 구축해요.
SAE는 추론 과정(CoT)과 시각적 토큰을 공유된 개념 공간에 매핑하고, 쿼리 코드북은 이 공간에서 중요한 개념을 선택하여 최종 마스크 디코더를 안내해요.
SegCompass는 5가지 벤치마크에서 최고 성능을 달성했으며, 학습된 희소 개념의 품질과 마스크 정확도 간의 강한 상관관계를 보여 해석 가능성을 입증했어요.