연구진은 LLM이 법률 문서 분석 시 전체 문서를 컨텍스트 창에 삽입하는 방식의 한계를 지적했어요. 대신 임베딩 검색(NAVEMBED)과 LLM 탐색(NAVINDEX)을 활용해 토큰 사용량을 줄이고 성능을 유지했어요. NAVINDEX는 전체 토큰 사용량과 답변 컨텍스트 크기를 크게 줄여 비용 효율성을 높였으며, 특정 규모 이하의 문서에서는 전체 삽입 방식이 더 저렴할 수 있음을 밝혔어요.
NAVEMBED와 NAVINDEX는 18개 질문 벤치마크에서 전체 삽입 방식과 유사한 성능을 보였으며, 특히 NAVINDEX는 토큰 사용량과 비용 측면에서 큰 이점을 제공했어요. 연구는 문서 규모에 따른 캐싱 교차점을 제시하며, 문서 규모가 특정 임계값을 넘어서면 효율적인 검색 방식이 더 유리함을 강조했어요.
연구진은 LLM 분석 시 문서 규모와 불확실성을 정량화하여, 효율적인 검색 방식의 적용 가능성을 평가하는 기준을 제시했어요. 이는 LLM을 활용한 법률 문서 분석 시스템의 성능과 비용 효율성을 개선하는 데 기여할 수 있을 것으로 기대돼요.