Pulse · AI 뉴스

OmniSelect: 동적 모달성 인식 토큰 압축을 통한 효율적인 Omni-modal 대규모 언어 모델

OmniSelect · 2026-05-18

연구진은 OmniLLM의 효율적인 토큰 압축을 위해 모달성에 따라 압축 전략을 동적으로 선택하는 프레임워크 OmniSelect를 제안했어요.

AudioCLIP 모델을 활용해 입력의 교차 모달 관련성을 추정하고, 오디오 중심, 비디오 중심, 균일 압축 세 가지 모드로 분류해 세분화된 토큰 압축을 수행해요.

실험 결과, OmniSelect는 추가 훈련 없이도 효율적인 다중 모드 토큰 감소와 강력한 성능을 달성했어요.

##OmniLLM##토큰압축##모달성##AudioCLIP
매일 핵심 AI 소식을 한국어로, 빠르게
App Store 에서 Pulse 받기 앱에서 열기