DORA는 비전 트랜스포머(ViT)의 토큰 병합을 위한 새로운 강화 학습(RL) 프레임워크입니다. DORA는 입력 의존적인 중복을 파악하기 위해 가벼운 RL 에이전트를 활용하여 각 트랜스포머 블록의 병합 전략을 결정합니다.
DORA는 기존 방법보다 정확도-효율성 균형을 개선하며, 이미지넷-1K에서 최대 76%의 계산량 절감 효과를 보였습니다.
DORA는 이미지넷-A 및 이미지넷-C와 같은 OOD 벤치마크에서 430% 이상의 효율성 이점을 달성했습니다.