연구진은 예측 대회에서 얻은 5만 5천 건 이상의 데이터로 자연어 설명을 평가하는 새로운 방법인 Explanation Quality Markers(EQM)를 제시했어요. EQM은 LLM을 활용해 설명의 논리적 패턴을 분석하고, 예측 정확도와 연관성을 보여줘 기존 방식보다 성능이 뛰어났어요. EQM은 특히 실력 부족한 예측군을 식별하는 데 효과적이었으며, 예측 정확도와 forecaster 수준 모두에서 기존 지표를 능가하는 예측력을 보였어요.
EQM은 설명의 길이와는 상관없이 예측 정확도를 예측하며, 인간 평가보다 일관성 있는 결과를 보여줬어요. 이 방법은 독립적인 예측 연구에서도 효과를 입증했으며, 판단에 필요한 정보를 자연어 설명에서 추출하는 확장 가능하고 해석 가능한 방법으로 평가받았어요.
EQM은 LLM을 활용해 설명의 논리적 패턴을 분석하고, 예측 정확도와 연관성을 보여줘 기존 방식보다 성능이 뛰어났어요. EQM은 특히 실력 부족한 예측군을 식별하는 데 효과적이었으며, 예측 정확도와 forecaster 수준 모두에서 기존 지표를 능가하는 예측력을 보였어요.