연구진이 EdgeBench를 통해 실제 환경 학습의 스케일링 법칙을 분석했어요. 134개의 실제 환경 작업에서 38,000시간의 에이전트 상호작용 데이터를 분석한 결과, 성능이 로그 시그모이드 스케일링 법칙을 따르는 것을 확인했어요. 에이전트 학습 속도는 약 3개월마다 두 배씩 증가하며, 이는 모델 세대 간의 성장세를 보여줘요.
EdgeBench는 과학적 발견, 소프트웨어 엔지니어링 등 134개의 실제 환경 작업을 포함하며, 각 작업은 최소 12시간의 지속적인 에이전트 운영을 지원해요. 연구진은 51개의 작업을 공개하고 전체 평가 프레임워크를 공개하여 실제 환경 학습 연구를 가속화할 계획이에요.
EdgeBench는 전문가의 노력을 통해 구축되었으며, 다층 피드백 시스템을 통해 에이전트의 학습 과정을 정밀하게 측정할 수 있도록 설계됐어요.