연구진은 LLM의 다국어 머신 언러닝(MMU) 평가에 새로운 지표를 제시했어요. 기존 평가는 언어 간 정보 확산 문제를 제대로 반영하지 못한다는 한계가 있었어요.
새로운 지표인 지식 분리 점수(KSS)와 지식 유지 점수(KPS)는 다국어 환경에서 정보가 얼마나 효과적으로 제거되는지 측정해요. KSS는 전체적인 언러닝 품질을, KPS는 언어 쌍 간 정보 제거의 일관성을 평가합니다.
연구 결과, MMU의 고유한 현상을 파악하고 MMU 평가에 대한 새로운 시각을 제시하며, LLM의 개인 정보 보호 문제를 해결하는 데 기여할 것으로 보입니다.