연구에서는 LLM의 어텐션 신호를 활용하여 문서의 관련성을 추정하는 재순위화 방법을 개선하기 위해, 쿼리에 따라 정보를 가장 잘 제공하는 헤드를 선택하는 RouteHead라는 새로운 방법을 제안했어요.
RouteHead는 가벼운 라우터를 학습하여 각 쿼리에 최적의 헤드 집합을 매핑하고, 이 헤드들의 어텐션 신호를 결합하여 관련성 점수를 계산해요.
쿼리와 헤드 간의 최적 레이블이 없으므로, 연구에서는 오프라인 검색을 통해 가짜 레이블을 생성하고, 이를 기반으로 라우터를 학습하여 성능을 향상시켰어요.