연구진은 심층 신경망의 지속적 학습 시 가소성 손실 문제를 분석하고, 동적 등각성(layer-wise Jacobian singular values가 1에 가까운 상태 유지)이 가소성 보존에 핵심적인 역할을 한다고 밝혔습니다.
새로운 AdamO 최적화 알고리즘을 제안하여 등각성 유지와 기울기 업데이트를 분리하고, ReLU 활성화 함수를 재활성화하는 새로운 메커니즘을 발견했습니다.
지도 및 강화 학습 벤치마크에서 기존 방법보다 우수한 성능을 보이며, 지속적 학습 환경에서 가소성 손실을 줄이는 효과를 입증했습니다.