연구진은 언어 모델(LLM)의 추론 과정을 통계적 일관성 관점에서 분석했어요. LLM 추론이 조건부 추론이라면 기본적인 확률적 법칙을 따라야 하는데, 여러 번의 분할과 집계 과정에서 이러한 법칙이 위반되는 것을 확인했어요.
연구 결과, LLM은 세부 집단에 대한 지식은 보유하고 있지만, 이를 전체 추론으로 정확하게 반영하지 못하는 ‘거시적 오류(macro fallacy)’ 현상을 보였어요. 세부 집단 응답을 집계한 결과가 직접적인 전체 추론보다 인간 참조 데이터와 더 잘 일치하는 경우가 많았어요.
연구진은 이러한 문제를 부분적으로 해결하기 위해 암시적 프롬프팅 기법을 사용했으며, 통계적 자기 일관성을 LLM 평가 기준으로 활용할 수 있음을 제안했어요.