연구진은 대규모 언어 모델이 장문 맥락에서 답변을 합성할 때, 관련 맥락을 문자 그대로 복사하는 대신 의미를 종합하는 경향이 있음을 확인했어요. 이를 위해 Logit-Contribution Scoring(LOCOS)이라는 새로운 방법을 제안하여, 답변 생성에 기여하는 헤드를 식별했어요.
LOCOS는 각 헤드의 출력-값 회로 출력을 답변 토큰의 방향으로 투영하여, 바늘과 바늘이 아닌 소스 위치를 비교하는 방식으로 작동해요. Qwen3, Gemma-3, OLMo-3.1 모델에서 테스트한 결과, LOCOS는 기존 방법보다 정확하게 비문자열 검색 헤드를 식별했어요.
Qwen3-8B 모델에서 LOCOS로 식별된 상위 헤드를 제거했을 때, NoLiMa 비문자열 검색 벤치마크의 ROUGE-L 점수가 크게 감소했으며, 이는 LOCOS가 답변 생성에 중요한 역할을 하는 헤드를 정확하게 식별한다는 것을 보여줘요.