Henry Pan이 모델 의존성 없는 일반적인 능력 향상 훈련을 위한 PyTorch 유사 프레임워크 'Harness Training' 프로젝트를 공개했어요.
이 프레임워크는 특정 LLM과 작업 환경에 훈련된 'frozen harness'를 활용해 다른 LLM과 새로운 작업 환경에서도 성능을 평가할 수 있도록 설계됐어요.
Terminal-Bench 2.0 (Terminus Harness)을 넘어서는 결과를 얻었으며, SWE-Bench 훈련을 통해 새로운 작업 환경에서의 문제 해결 능력을 향상시키는 데 활용 가능성을 보여줬어요.
결과 및 프레임워크 구축 과정, 초기 버전의 문제점 (결정론)에 대한 학습 내용이 담긴 블로그 포스트도 함께 공개됐어요.