연구자가 리아푸노프 스펙트럴 분석을 통해 트랜스포머 모델의 MLP와 어텐션 스펙트럴 비율이 모델 붕괴에 영향을 미친다는 사실을 밝혔어요. 이 비율은 안정적인 모델을 유지하기 위해 0.5~2 사이로 유지하는 것이 좋다고 합니다. 연구 결과는 GitHub 저장소에서 확인할 수 있습니다: https://github.com/yousef-rafat/the-1-1-rule.