연구진은 기존 토큰 제거 방식이 극소량 토큰 제거 시 불안정해지는 문제를 분석했어요. 토큰 제거 시 특징 분포 변화가 성능 저하와 연관되어 있다는 점을 발견하고, 분포 일관성 지표를 도입했어요. DCP-Prune은 ACGR과 TATCS 2단계 프레임워크로, 컨텍스트 정보 전달과 토큰 재선택을 통해 성능 저하를 최소화합니다.
ACGR은 토큰 제거 전 컨텍스트 정보를 전달하고, TATCS는 특징 분포 변화 감지 시 토큰을 재선택합니다. 실험 결과, DCP-Prune은 LLaVA-1.5-7B 모델에서 16개 시각 토큰만으로 92.1%의 성능을 유지했어요. 기존 방식 대비 안정적인 성능을 보입니다.