연구진은 LLM 에이전트용 자동 하네스 진화 평가 방식을 재검토했어요.
기존 방식은 단위 테스트 케이스로 하네스 구성을 검색하고 동일한 공개 벤치마크에서 최종 성능을 보고하는데, 이는 하네스 진화 자체가 반복적인 검색 과정이라는 점을 간과한 것 같아요.
GPT-5.4와 Claude Opus 4.6를 활용한 Terminal-Bench 2.1 실험 결과, 자동 하네스 진화가 단순 테스트 시간 스케일링 방법보다 일관되게 성능이 좋지 않고 일반화 능력도 제한적이었어요.