연구진이 새로운 모델 평가를 위한 MetaEvaluator 프레임워크를 공개했어요. 이 프레임워크는 다양한 구조와 모달리티의 모델을 빠르고 라벨 없이 평가할 수 있어요. 메타러닝을 활용해 초기화하여 새로운 모델을 정확하게 평가하고 비용을 절감하며 모델별 재훈련 필요성을 없앴어요.
기존 평가 방식은 값비싼 어노테이션이나 잦은 파인튜닝에 의존했지만, MetaEvaluator는 참조 모델 풀을 활용해 비용을 절감하고 라벨이 없는 데이터셋에서도 평가가 가능해요. 기존 방식 대비 안정적이고 정확한 성능을 제공하며, 새로운 모델의 확장 가능한 벤치마킹을 실현했어요.