연구진은 기존 모델 훈련 방식이 데이터가 풍부한 환경에 맞춰져 있었음을 지적하며, 데이터 부족 환경에서도 적용 가능한 새로운 확장된 모델링 방식을 제안했습니다.
새로운 방식은 데이터 규모가 줄어들수록 성능이 포화되는 현상을 반영하고, 과적합을 방지하며, 총 학습 데이터와 고유 데이터 간의 관계를 명확히 구분합니다.
다양한 모델 아키텍처와 도메인에서 실험을 통해 검증되었으며, 기존 LLM 확장 법칙에 대한 예측 정확도를 높여 데이터 비용에 따른 최적의 학습 전략을 제시합니다.