연구원이 pytest와 유사한 통계적 테스트 자동화 도구 'pybench'를 개발했어요. pybench는 시드 관리, 과거 벤치마크 결과 저장 등 번거로운 작업을 자동화해줘요. GitHub 저장소와 상세 문서를 통해 사용 방법을 확인할 수 있어요.
pybench는 첫 실행 시 시드를 샘플링하고, 기준선을 저장하며, 새로운 결과를 표시합니다. 이후 동일 시드로 재실행하여 PASS/FAIL 여부를 표시합니다.
pybench update 명령어로 기준선을 재설정하고, pybench show 명령어로 현재 기준 통계를 확인할 수 있습니다.