연구진은 에이전트 코딩 벤치마크에서 인프라 설정에 따라 평가 결과가 최대 6%p 차이로 나타나는 현상을 발견했습니다.
Kubernetes 환경에서 자원 제한을 엄격하게 적용할 경우, 컨테이너가 일시적인 메모리 부족으로 인해 종료되는 문제가 발생하며, 이는 모델의 실제 성능과 무관하게 평가 결과에 영향을 미칩니다.
자원 헤드룸을 늘리면 인프라 오류율이 감소하고, 모델이 더 많은 시도를 할 수 있게 되어 성공률이 향상되는 것으로 나타났습니다.
연구진은 3배의 자원 헤드룸을 확보하는 것이 인프라 안정성을 개선하는 데 효과적이며, 그 이상의 헤드룸은 모델의 문제 해결 능력을 향상시키는 데 기여한다고 밝혔습니다.
평가 환경의 자원 설정이 모델의 전략 선택에 영향을 미치므로, 실제 일반화 성능을 평가하기 위해서는 자원 설정을 명시해야 한다고 제안합니다.