연구진은 이미지 측면 토큰을 압축하는 새로운 프레임워크 SaMer를 제안했어요. 객체 정보를 활용해 토큰을 병합하여 불필요한 토큰을 제거하고 검색 성능을 향상시켰어요. SaMer는 학습 시 객체 주석을 활용하여 토큰 혼합을 방지하고 추론 시에는 바운딩 박스나 검출기가 필요 없어요.
SaMer는 이미지 측면 토큰의 93% 이상을 제거하고 ColPali 저장 공간을 16.09배 줄이면서 Flickr30K 및 MSCOCO에서 R@1을 향상시켰어요. 객체 정보를 활용한 병합은 향후 쿼리 토큰이 선택할 수 있는 객체 증거를 보존하는 데 기여해요.
SaMer는 기존 압축 방식보다 뛰어난 성능을 보이며 더 강력한 구문 수준의 정렬을 보여주어 효율적인 멀티 벡터 검색은 토큰 수를 줄이는 것뿐만 아니라 향후 쿼리 토큰이 선택해야 하는 증거를 보존하는 데 달려 있음을 시사해요.