본 논문은 시각-언어 모델(VLM)의 속도 향상을 위한 시각 토큰 가지치기 방법의 한계를 분석하고 개선하는 연구예요. 기존 방법은 밀집된 지시와 세밀한 쿼리에서 중요한 단서를 보존하지 못하는 문제점을 가지고 있었어요. 엔트로피 기반 밀집 가지치기(EADP) 프레임워크를 제안하여 텍스트 노이즈를 제거하고 시각적 표현을 최적화하여 정확도와 효율성을 향상시켰어요.
EADP는 통계적 엔트로피를 활용하여 텍스트 노이즈를 정량화하고 필터링하여 지시 관련성을 측정하고, 공간적 우선순위를 고려한 서브모듈러 최대화 문제를 통해 시각적 표현을 보존해요. 다양한 실험 결과, EADP가 제한된 토큰 예산 하에서 세밀한 시각적 단서를 보존하면서 뛰어난 성능을 달성했음을 확인했어요.
연구 결과, EADP는 기존 VLM의 정확도와 효율성 간의 균형을 개선하고 어려운 다중 모드 벤치마크에서 최고 성능을 달성했어요.