연구진은 장문 검색 시 단일 벡터 인코딩 방식의 한계를 지적했어요. 문서 전체를 한 번에 인코딩하면 중요한 부분의 정보가 손실될 수 있다고 분석했어요. 이를 해결하기 위해 청크 증거 집계(DICE)라는 새로운 전략을 제안해, 문서의 각 부분을 독립적으로 인코딩하고 다시 결합하는 방식이에요.
DICE는 학습 과정 없이도 문서 검색 성능을 향상시키며, 특히 4000 토큰 이상의 긴 문서에서 Dream과 Passkey의 성능이 각각 30%에서 90%, Needle의 성능이 23.3%에서 74%로 크게 향상됐어요. 실험 결과, DICE는 단일 벡터 방식보다 문서의 핵심 증거를 더 잘 보존하는 것으로 나타났어요.
연구 결과는 문서 수준 인코딩이 장문 검색의 실용적인 개선 방안임을 보여주며, 앞으로 이 분야 연구의 새로운 방향을 제시할 것으로 기대돼요.