CMDR과 CMDR-Bench는 문서 맥락을 모델링하는 새로운 다중 모드 문서 검색 태스크와 벤치마크입니다. CMDR-Embed는 여러 페이지를 공동으로 인코딩하여 문서 맥락을 명시적으로 통합하고 페이지 수준 임베딩을 도출하는 프레임워크입니다. CMCL은 맥락 모델링과 페이지 수준의 구별력을 균형 있게 유지하며 CMDR-Embed를 효과적으로 학습합니다.
기존 방식은 페이지를 독립적으로 인코딩하여 문서 내 맥락 정보를 간과했지만, CMDR-Embed는 이를 개선하여 기존 방식보다 성능이 뛰어납니다. CMDR-Embed는 텍스트와 시각적 콘텐츠를 함께 고려하여 관련 페이지를 검색합니다.
CMDR-Embed는 문서 맥락을 고려한 다중 모드 임베딩의 중요성을 보여주며, 문서 검색 분야 발전에 기여할 것으로 기대됩니다.