연구진은 LLM의 결함 있는 추론을 감지하지 못하는 Self-Consistency(SC) 전략의 한계를 지적하며, 새로운 그래프 기반 프레임워크 GRAPHEVAL을 제안했습니다.
GRAPHEVAL은 Graph Reasoning Coherence Score(GRCS)라는 새로운 불확실성 측정 지표를 통해 LLM 추론 과정의 의미론적·구조적 합의를 정량화하고, 오류 가능성을 파악합니다.
연구 결과, GRCS는 모델 크기와 상관없이 추론의 신뢰성과 지속적으로 부정적인 상관관계를 보였으며, Graph Self-Consistency(GSC) 전략은 기존 SC보다 더 신뢰성 있는 추론을 가능하게 합니다.
GSC는 핵심 추론 경로를 유지하며, 이를 벗어난 경우 추론의 신뢰성이 저하되고 정확도가 떨어지는 것을 확인했습니다.