연구진은 제한된 컴퓨팅 예산 하에서 훈련된 소형 Llama 스타일 언어 모델의 훈련 역학을 정량적으로 분석했어요. 검증 손실, 검증 퍼플렉시티, 변동성, 백슬라이드, 스파이크, 시드 간 변동성 등 다양한 지표를 측정하여 훈련 구간별 변화를 관찰했어요. 연구 결과, 초기 빠른 성능 향상 이후 훈련 후반부에는 성능이 저하되는 비선형적 패턴이 나타났으며, 추가 토큰 노출이 일반화 성능 향상에 기여하지 못하는 구간이 존재했어요.