SmartVL은 MLLM의 추론 비용을 줄이기 위해 시각 토큰 수와 LLM 연산 능력을 동시에 조절하는 새로운 프레임워크입니다. 시각 토큰 컨트롤러와 LLM 연산 컨트롤러를 도입하여 입력 콘텐츠와 연산 예산에 따라 동적으로 자원을 할당합니다. 공유 예산 인코딩과 미분 가능한 지연 추정기를 활용하여 두 컨트롤러를 엔드투엔드 학습시킵니다. 실험 결과, SmartVL은 기존 방식보다 우수한 정확도-효율성 균형을 달성했습니다.
기존 방식은 시각 토큰과 LLM 연산을 개별적으로 최적화했지만, SmartVL은 입력 콘텐츠에 따른 상호 의존성을 고려하여 연산 자원을 효율적으로 분배합니다.
SmartVL은 다양한 MLLM 벤치마크에서 기존의 적응형 방법보다 뛰어난 성능을 보이며, 정확도와 효율성 모두 향상시켰습니다.