연구진은 훈련 없이 제로샷으로 여러 모달리티를 검색하는 모델의 일반화 능력과 유연성을 높이기 위한 STiTch 프레임워크를 제안했어요.
기존 LLM 기반 방법은 입력 이미지의 세부 사항을 반영하지 못하고, 검색 단계에서 점대점 정렬 방식이 다양한 조합을 놓치게 된다는 한계가 있었어요.
STiTch는 LLM이 생성한 설명을 임베딩 공간에서 수정하고, 핵심 수정 의도를 강조하여 불필요한 노이즈를 제거하며, 모달리티 간 미세한 정렬을 고려하는 양방향 이동 거리를 활용해요.
실험 결과, STiTch는 다양한 이미지 검색 작업에서 효과적이고 유용함을 입증했어요.