연구진은 LLM 에이전트가 미래 예측 분석 시 역사적 유사성을 활용하는 능력(ADR)을 평가하는 ADR-bench를 공개했어요.
ADR 수행 시 LLM 에이전트는 표면적인 특징만 일치시키는 경향이 있어 유사성을 찾는데 어려움을 겪는다는 점이 확인됐어요.
연구진은 ADR이 사건 발생 원인을 이해하는 인과 관계 질문이라는 점에 주목해, 메커니즘 일치 및 교차 유사성 확인 원칙을 제안했어요.
Causal Analogical Researcher (CANA) 프레임워크를 통해 LLM의 역사적 유사성 활용 능력을 향상시켜 ADR-bench에서 기존 에이전트보다 10% 성능 향상시켰어요.