BIRD(Bootstrapped Iterative Self-Reasoning Distillation)는 LLM의 비효율적인 추론 과정을 개선하는 새로운 증류 방법입니다.
BIRD는 먼저 간결한 해결책을 샘플링하고, 정확한 답변을 유지하며, 가벼운 프롬프트 전환 SFT 단계를 거칩니다.
Qwen3 모델에서 BIRD는 MATH-500 정확도를 86.2%에서 92.0%로 향상시키고, 평균 응답 길이를 3,099 토큰에서 1,115 토큰으로 줄였습니다.
연구 결과는 효율적인 추론 증류에서 접두사 지원의 중요성을 강조합니다.