연구진은 LLM이 자체 출력만으로 코드 생성 능력을 향상시킬 수 있음을 확인했어요. 간단한 자기 증류(SSD) 방식으로 Qwen3-30B-Instruct 모델의 LiveCodeBench v6 pass@1 점수를 42.4%에서 55.3%로 끌어올렸어요. SSD는 4B, 8B, 30B 규모의 Qwen과 Llama 모델 모두에서 효과를 보였어요.
SSD는 더 어려운 문제에서 성능 향상이 집중적으로 나타났으며, 샘플링된 솔루션을 활용해 표준 감독 학습 방식으로 모델을 재학습하는 방식이에요. 복잡한 검증기나 보조 모델, 강화 학습 없이도 코드 생성 능력을 개선할 수 있다는 점이 특징이에요.
연구 결과는 LLM이 자체 데이터를 활용해 지속적으로 발전할 수 있음을 시사하며, 향후 LLM 개발 방향에 중요한 시사점을 제공할 것으로 보입니다.