연구진은 생성 모델 학습 과정의 동역학적 측면을 분석하여 암기 현상을 설명했어요. Austin의 연구 결과를 바탕으로 손실 함수가 변수에 따라 강하게 의존하는 양식화된 모델을 제시했어요. 이를 통해 기계 학습에서 흔히 사용되는 상수 스텝 크기 확률적 경사 하강법(SGD)에서 두 가지 뚜렷한 시간 척도가 나타나는 것을 확인했어요.
Borkar의 연구 결과와 Azizian 등의 최근 연구 결과를 결합하여 생성 모델이 일관되게 조정되는 동안 동일하거나 유사한 출력을 생성하는 암기 현상을 분석했어요. 이 연구는 기계 학습 문헌에 보고된 현상에 대한 새로운 관점을 제시하고 있습니다.
연구는 생성 모델 학습 과정의 동역학적 측면을 분석하여 암기 현상을 설명하는 새로운 관점을 제시하고, 기존 현상 간의 연관성을 밝히는 데 기여합니다.