연구진은 확산 모델의 생성 능력과 자기 지도 학습 능력을 동시에 평가하는 프레임워크를 소개했어요. 특징을 불변 및 잔차 구성 요소로 분해하고, 표현 공간에서 잔차 변동이 불변 신호를 얼마나 오염시키는지 측정하는 Fisher 기반 지표인 ICR을 도출했어요. ICR은 데이터가 부족한 환경에서 학습이 진정한 일반화에서 기억으로 전환되는 과정을 보여주는 지표로 활용돼요.
연구진은 확산 모델의 표현 공간 기하학을 통해 자기 지도 학습 관점에서 모델을 모니터링할 수 있음을 보여줬어요. 중간 노이즈 레벨에서 불변성이 최고조에 달하며, 이는 최고의 다운스트림 분류 성능을 제공하는 것으로 나타났어요.
ICR은 외부 평가자나 별도의 테스트 세트 없이도 학습 특징만으로 기억화 시작을 감지할 수 있는 민감한 학습 시간 지표로 사용돼요.