연구진이 방글라 요약 벤치마크(BanSum)에서 지식 증류(KD)가 교차 엔트로피 기준점보다 ROUGE-L 점수를 0.0003% 향상시키는 데 그친다는 사실을 발견했어요.
CHAD(Counterfactual Harm-Aware Distillation)는 검증 손실 방향과 기울기 정렬을 통해 샘플별 KD 유용성을 측정하고, 이를 전체 훈련 세트에 일반화하는 경량 게이트를 훈련해요.
EWAD+CPDP는 토큰 수준의 엔트로피 가중 적응 증류와 두 번째, 어휘 호환되지 않는 교사의 용량 비례 기하학적 제약을 결합해요.
EWAD+CPDP는 15개 언어에서 교차 엔트로피 기준점보다 우수한 성능을 보이며, 두 교사가 상호 보완적인 신호를 제공하는 경우 가장 안정적인 성능 향상을 보여줘요.