연구진이 다중 척도 적응형 비전 인코더인 'MAViE'를 공개했어요. 이 모델은 이미지의 전역 의미를 보존하면서 에지, 텍스트, 지역 구조를 향상시키는 위치 의존 게이트를 사용해요.
MAViE는 질문에 따라 질문 관련성, 지역 정보 내용, 전역 의미, 공간 커버리지를 고려하여 토큰 라우팅을 수행하며, 이미지 복잡성에 따라 토큰 예산을 조정해요.
MAViE는 SigLIP-SO400M 시각 토큰 수를 729개에서 146개로 줄이고 VQAv2, GQA, TextVQA, ScienceQA-IMG, MMBench에서 평균 점수를 2.2% 향상시켰어요.
현재 보고된 수치는 논문 구성과 실험 설계를 위한 임시 값이며, 실제 훈련, 독립적인 재현, 공식 벤치마크 평가가 필요해요.