연구진은 데이터 분포 변화 시 모델 성능을 예측하는 새로운 방법인 FRAP(Fused Reference Alignment Prediction)을 제안했어요. 기존 방식은 모델 자체의 편향을 증폭시켜 실제 성능과 상관관계가 약하다는 한계가 있었어요. FRAP은 외부 기반 모델과 기본 모델의 강점을 활용하여 실제 성능을 더 잘 반영하는 대리 레이블을 구축해요.
FRAP은 기반 모델과 기본 모델의 예측 분포를 정렬하여 온도 스케일링 교정을 통해 두 분포의 차이를 최소화해요. 정렬된 예측은 신뢰도 기반 가중치를 통해 융합되어, 기반 모델의 견고함과 기본 모델의 도메인 전문성을 통합하는 참조 분포를 생성하고, 이를 통해 성능을 추정해요.
다양한 데이터 세트와 아키텍처에서 실험한 결과, FRAP은 데이터 분포 변화 시 기존 성능 추정 방법보다 일관성 있고 상당한 성능 향상을 보였어요.