연구진은 LLM 기반 법률 자문 시스템의 시간 흐름에 따른 오류, 즉 법 개정 이후에도 구법을 적용하는 '법률 개정 후 유효 기간 만료'와 사실 관계에 과거 법 조항이 적용되어야 할 때 최신 법 조항을 선호하는 '최신성 편향'을 분석했어요.
연구진은 시간 민감성 독일 법률 자문 벤치마크를 구축하여 5개의 LLM을 평가하고, 웹 검색과 두 가지 검색 증강(RAG) 방식을 통해 시간적 유효성을 강화했어요.
연구 결과, 법률 개정 후 유효 기간 만료 시 Vanilla 모델의 성능이 크게 저하되었으며, RAG 방식은 모든 질문 유형에서 성능을 향상시켰고, 웹 검색은 불안정한 성능 향상과 함께 최신성 편향을 보였어요.