이 논문은 오디오, 비디오, 텍스트를 함께 처리하는 Omni-LLM의 추론 비용을 줄이는 것을 목표로 합니다. 시각 토큰의 정보 중복성을 줄이기 위해 ReMo 프레임워크를 제안합니다. ReMo는 시각 토큰을 오디오와 다른 시각 토큰으로 설명되는 토큰을 제거하고, 객체 수준의 시각 토큰을 짧은 텍스트 프록시로 대체합니다.
Qwen2.5-Omni 모델에서 ReMo는 정확도 손실 없이 54%의 입력 토큰을 제거했습니다. 실제로 오디오-비디오 벤치마크에서 평균 정확도를 101.2% 및 101.3%까지 향상시켰습니다.