연구진은 복합적인 정보 검색 시 앤드, 오어, 제외 연산자를 사용할 때 현재 검색 방식이 제약 조건을 제대로 만족하는지, 아니면 단순히 의미적 단서를 활용하는지 확인하기 위해 QUEST와 QUEST 변형 데이터셋을 활용한 재현성 연구를 진행했습니다.
LIMIT+라는 새로운 벤치마크를 도입하여, 사전 학습된 지식보다는 임의의 속성 조건과 제약 조건 만족 여부에 따라 관련성이 결정되는 환경에서 검색 성능을 평가한 결과, 딥러닝 기반 검색 방식은 성능이 급격히 저하되는 것을 확인했습니다.
연구진은 복합적인 정보 검색의 깊이에 따라 성능이 저하되는 현상을 발견했으며, 이를 바탕으로 대수적 희소 검색과 어휘 기반 검색 방식이 더 안정적인 성능을 보이는 것을 확인하고 관련 코드와 LIMIT+ 데이터 생성 스크립트를 공개했습니다.