연구진은 에이전트 최적화 방법의 성능 향상이 일회성으로 끝나는 현상에 주목했어요. 실제 에이전트는 새로운 실패와 과제가 등장함에 따라 반복적으로 최적화되기 때문이죠.
GEPA, Meta Harness, RELAI-VCL 세 가지 최적화 방법을 Terminal-Bench 2.0의 어려운 과제를 활용해 두 단계 지속적 학습 평가를 통해 비교했어요.
RELAI-VCL은 새로운 과제에 긍정적으로 이전 학습할 뿐만 아니라, 최적화 목표에 통합된 후에도 지속적으로 개선되어 가장 높은 합격률을 기록했어요 (평균 76.4%).
연구 결과, 최적화된 에이전트가 회귀 제어를 통해 일반화에 대한 편향을 갖추는 경우에만 최적화된 이점이 복합화되는 것을 확인했어요.