연구진이 AI 에이전트의 장기 과제 수행 능력을 평가하는 새로운 벤치마크 'Long-Horizon-Terminal-Bench'를 공개했어요. 이 벤치마크는 기존 벤치마크의 한계를 극복하기 위해 개발되었으며, 46개의 장기 과제를 포함하고 있어요.
각 과제는 세분화된 하위 과제로 구성되어 중간 진행 상황에 대한 보상을 제공하며, 최종 목표 달성 여부뿐 아니라 문제 해결 과정도 평가할 수 있어요.
15개의 최첨단 모델을 평가한 결과, 평균적으로 990만 토큰을 소비하고, 231번의 에피소드와 85.3분의 실행 시간을 필요로 하는 등 기존 벤치마크보다 훨씬 더 높은 요구 사항을 보여줬어요.
연구진은 벤치마크의 실패 모드와 오류 패턴을 분석하고, AI 에이전트의 장기 과제 수행 능력 향상을 위한 발판을 마련하고자 Long-Horizon-Terminal-Bench를 공개했어요.