연구진은 MLLM의 추론 비용을 줄이기 위해 엔트로피 기반 시각 토큰 가지치기 프레임워크 ERA를 제안했어요. ERA는 시각적 다양성과 헤드별 중요도를 함께 모델링하는 Dual-view Entropy Pruning, 클러스터 수준의 로짓 편향을 추정하는 Bias-aware Token Recycling, 로짓 보존 어텐션 정류를 수행하는 Logit-preserving Attention Rectification으로 구성돼요.
ERA는 시각적 증거를 보존하면서 공격적인 압축에도 강력한 성능을 유지하며, 단일 이미지, 다중 이미지, 비디오 설정에서 다양한 MLLM에 적용 가능해요.
GitHub에서 ERA 코드를 확인할 수 있으며, 이 연구는 효율적인 MLLM을 위한 로짓 보존 시각 토큰 가지치기의 원리 기반 프레임워크를 제시합니다.