ASAP(Attention Sink Anchored Pruning)은 Vision Transformer(ViT)의 연산 병목 현상을 해결하기 위한 새로운 프레임워크입니다. 기존 토큰 감소 방법의 한계를 극복하기 위해 어텐션 싱크 현상을 정보 흐름의 특징으로 활용합니다.
ASAP은 Lazy Random Walk를 통해 어텐션 싱크를 식별하고, Radial Diffusion Clustering을 통해 토큰을 분할합니다. Transition Weight Pooling을 통해 배경의 중복을 줄여 단일 단계에서 성능을 향상시킵니다.
이미지, 비디오, 비전-언어 작업에서 실험 결과, ASAP은 기존 방법보다 우수한 성능을 보이며 처리량을 최대 48%까지 가속화하고 정확도를 유지하거나 향상시킵니다.