연구진은 OpenEvolve, TTT-Discover 등 자동 발견 시스템의 성능 비교 시, 통계적 변동성을 고려하지 않아 객관적인 평가가 어려움을 지적했어요.
12개의 모델-문제 쌍에서 310만 번의 LLM 실행을 통해 30개의 시스템을 평가한 결과, 특정 시스템이 모든 경우에 우수하지 않으며 OpenEvolve 계열은 단순한 방식보다 성능이 떨어지는 경향이 있어요.
초기 발견 과정의 진행 상황이 최종 성능을 예측하며, 이를 활용해 여러 시스템을 시작하고, 약한 실행을 제거한 후 남은 시스템에 컴퓨팅 자원을 재분배하는 방식으로 기존 방식보다 우수한 결과를 얻었어요.
연구진은 향후 시스템 제안을 위한 통계적 기반 자료로 모든 실행 데이터를 공개하며, 고정된 시스템 선택 대신 초기 성능에 기반한 온라인 적응 방식의 중요성을 강조했어요.