HeadRank는 LLM 어텐션 가중치에서 관련성을 직접 읽는 디코딩 없는 재순위화 방법의 문제점, 즉 중간 컨텍스트 문서의 점수 균일화 현상을 해결하기 위해 제안되었습니다.
어텐션 헤드 선택, 하드 인접 레벨 선호 쌍, 분포 정규화기를 통해 어텐션 공간에서 선호도 최적화를 수행하고, 깊이 제한을 통해 추론 속도를 향상시켰습니다.
Qwen3 모델 14개 벤치마크에서 기존 방법보다 우수한 성능을 보였으며, 관련 중간 영역 문서의 상위 4분위수 진입률을 크게 향상시켜 재순위화 성능을 입증했습니다.