nvidia 연구팀은 대규모 LLM 개발 시 데이터 양뿐 아니라 학습 신호의 구조화 여부가 중요하다고 강조했어요. 공개된 작업 훈련 세트를 활용해 새로운 작업 맞춤형 예제를 생성하고, 추론 및 관련 지식을 풍부하게 하여 Nemotron-3 Nano 모델의 MMLU-Pro 성능을 1.8% 향상시켰어요. 생성된 데이터는 기존 데이터와 혼합하여 사용하며, 다중 선택 작업은 검증이 용이하고, 개방형 생성 작업은 작업별 추출 및 필터링이 필요해요.