연구진은 LLM이 명확한 결론 없이도 스스로 가설을 세우고 실험을 설계하는 Prospective Hypothesis Discovery (PHD) 능력을 평가하는 새로운 벤치마크 HypoArena를 공개했어요.
HypoArena는 988개의 사례로 구성된 HypoData와 평가 프레임워크 HypoEval로 구성되며, 과학 및 분석 분야에서 LLM의 가설 생성 능력을 측정해요.
실험 결과, PHD 능력에 따라 LLM 간 성능 차이가 뚜렷하게 나타났으며, 일부 모델은 향상된 분석 능력으로 성능이 개선되기도 했지만, 최고 성능 모델도 오히려 퇴보하는 현상이 관찰돼요.