연구진이 순환 신경망(RNN) 훈련 시 순환 기반 신용 전파 문제를 해결하기 위해 Supervised Memory Training(SMT)이라는 새로운 방법을 제안했어요. SMT는 RNN 훈련을 한 단계 기억 전환 레이블 학습으로 전환하여 순환 기반 신용 전파를 완전히 회피해요.
Transformer 기반 인코더를 활용하여 예측 상태 목표를 훈련하여 기억 레이블을 획득하며, 기억 내용과 업데이트 방법을 분리하여 시간 병렬 RNN 훈련을 가능하게 해요.
언어 모델링, 픽셀 시퀀스 모델링 등 다양한 RNN 아키텍처에서 SMT가 BPTT보다 뛰어난 성능을 보이며, 장거리 의존성을 더 잘 포착하고 병렬 훈련을 가능하게 해요.