연구진은 기억을 회상할 때 사용되는 간접적인 대상 지칭을 평가하기 위한 IRC-Bench를 공개했습니다. IRC-Bench는 대상 식별 단서가 여러 문장에 흩어져 있는 비지역적 특성을 목표로 합니다.
IRC-Bench는 11개 주제 영역에 걸쳐 12,337개의 위키데이터 연결 엔티티와 1,994개의 기록을 포함하며, 명시적 언급이 제거된 Entity-Elided Narrative와 대상이 명시적으로 언급된 Entity-Grounded Narrative 쌍으로 구성됩니다.
QLoRA로 조정된 Llama 3.1 8B 모델이 개방형 환경에서 가장 뛰어난 성능(정확도 38.94%, Jaccard 지수 51.59%)을 보였으며, fine-tuned DPR은 폐쇄형 환경에서 검색 성능을 주도했습니다.