연구진은 라벨 노이즈 환경에서 학습하는 딥 네트워크가 깨끗한 구조를 학습한 후 손상된 라벨을 암기하는 과정에서 스펙트럼 시그니처를 남긴다는 것을 밝혔습니다.
이러한 현상은 각 예제의 마지막 레이어 그래디언트의 중심 산란 스펙트럼의 효과적인 랭크가 일시적으로 확장되었다가 손상된 라벨이 맞춰지면 수축하는 것으로 나타납니다.
연구진은 피셔 랭크 인플레이션(Fisher Rank Inflation)이라는 용어로 이 현상을 명명하고, 손상된 라벨이 저에너지 또는 이전에 사용되지 않았던 고유 방향에 스펙트럼 질량을 주입하여 그래디언트 스펙트럼의 엔트로피를 증가시킨다는 것을 밝혀냈습니다.
CIFAR-10, CIFAR-100, CIFAR-10N 데이터셋과 SmallCNN, ResNet18, Vision Transformer 모델을 사용하여 실험한 결과, 피셔 효과적인 랭크는 일관된 인플레이션-콜랩스 궤적을 보였습니다.