연구진이 EdgeBench를 통해 실제 환경 학습의 스케일링 법칙을 분석했어요. 134개의 실제 환경 작업에서 에이전트 상호작용 데이터를 분석한 결과, 전체 성능이 로그 시그모이드 스케일링 법칙을 따르는 것을 확인했어요 (R^2 = 0.998). 모델 세대별로 에이전트 학습 속도가 약 3개월마다 두 배로 증가하는 경향도 발견했어요.
EdgeBench는 과학적 발견, 소프트웨어 엔지니어링 등 134개의 실제 환경 작업을 포함하며, 각 작업은 최소 12시간의 지속적인 에이전트 운영을 지원해요. 풍부한 피드백 시스템과 전문가의 노력이 투입됐으며, 51개의 작업과 평가 프레임워크를 공개했어요.
연구진은 실제 환경 학습 연구를 가속화하기 위해 EdgeBench를 공개했으며, 향후 에이전트 학습 방식 개선에 기여할 것으로 기대돼요.