Hugging Face가 커뮤니티 평가 시스템을 도입하여 벤치마크 점수와 실제 성능 간의 격차를 해소하고, 모델 평가 결과의 투명성을 높이려 합니다.
새로운 시스템은 데이터셋 레포에서 평가 사양을 정의하고, 모델 레포에 평가 점수를 저장하며, 커뮤니티 사용자가 PR을 통해 결과를 제출할 수 있도록 지원합니다.
검증된 배지는 결과의 재현성을 보장하며, 모든 평가 결과는 Hugging Face Hub API를 통해 접근 가능하여 다양한 리더보드 구축에 활용될 수 있습니다.