연구진은 10조 토큰 규모의 데이터셋으로 코드 훈련의 효과를 재검토했어요. 코드 데이터가 많을수록 코딩 능력은 향상되지만, 복잡한 수학적 추론 능력은 오히려 저해될 수 있어요. 코드 대신 코드-텍스트, 수학-텍스트 혼합과 같은 구조화된 추론 데이터가 수학적 추론 능력 향상에 더 효과적이에요. 수학 데이터 내에서 어려운 추론 문제의 비중을 높이면 수학적 추론 능력은 향상되고 코딩 성능은 유지돼요.