연구진은 반복적인 연산을 통해 잠재적 표현을 개선하는 Looped Transformer의 대안으로 Attractor 모델을 제시했습니다.
Attractor 모델은 배경 모듈이 출력 임베딩을 제안하고, 어트랙터 모듈이 고정점을 해결하여 이를 개선하는 방식으로, 학습 메모리는 효과적인 깊이에서 일정하게 유지됩니다.
실험 결과, Attractor 모델은 대규모 언어 모델 사전 훈련과 소규모 모델의 추론 작업에서 기존 모델을 능가하는 성능을 보였습니다.