연구진은 이미지 측면 토큰을 압축하면서 객체 정보를 보존하는 SaMer 프레임워크를 제안했어요. SaMer은 학습 시 객체 주석을 활용해 토큰 병합 우선순위를 정하고 추론 시에는 별도 바운딩 박스나 검출기가 필요 없어요. K=64 설정 시 이미지 측면 토큰의 93% 이상을 제거하고 ColPali 저장 용량을 16배 줄이면서 Flickr30K 및 MSCOCO에서 R@1 성능을 향상시켰어요.
SaMer은 기존 압축 방식과 달리 향후 쿼리 토큰이 선택할 수 있는 객체 증거를 보존하여 문구 수준의 정렬성을 강화했어요.
SaMer은 공유 투영 레이어만 학습하고 기존 비전 및 언어 백본은 고정하여 활용 가능성을 높였으며, 객체 인식 정보가 없는 환경에서도 적용 가능해요.