연구진은 불균형하고 의미적으로 유사한 학술 분야 레이블 문제를 해결하기 위해 AutoTail-BSFGM이라는 클래스 균형 인식 파인튜닝 방법을 제안했어요.
AutoTail-BSFGM은 자동으로 게이팅된 꼬리 우선 조정, 약한 Balanced Softmax 보조 손실, Fast Gradient Method 적대적 정규화를 결합하며, 추론 시에는 기존의 단일 베이스 사이즈 인코더와 선형 분류기를 사용해요.
중국 RoBERTa-WWM 및 MacBERT-base 모델을 사용하여 추상-분야 작업과 제목-범주 작업에서 검증 정확도와 잠금 상자 정확도를 향상시켰으며, 특히 MacBERT-base 모델에서 검증 정확도가 0.83% 포인트 증가했어요.