SHIFT는 다국어 정보 검색(MLIR) 시 언어 편향을 완화하는 새로운 기술입니다. 병렬 번역 데이터를 활용하여 각 언어의 상대적 벡터를 추정하고 문서 임베딩을 수정합니다. 4가지 MLIR 벤치마크에서 SHIFT가 언어 편향을 줄이고 성능을 향상시키는 효과를 입증했습니다.
SHIFT는 학습 과정 없이 인덱싱 단계에서 적용 가능하며, 기존의 밀집 검색 모델에 바로 통합할 수 있습니다. 이를 통해 다양한 언어의 문서에서 의미적으로 관련 있는 정보를 더 정확하게 검색할 수 있습니다.
연구팀은 SHIFT를 통해 영어 쿼리에 대한 한국어 문서 검색 결과의 관련성을 높이는 데 성공했습니다. SHIFT는 MLIR의 공정성과 효율성을 높이는 데 기여할 것으로 기대됩니다.