연구진은 LLM의 추론 능력 증진을 위한 기존 방법인 '검증 가능 연쇄적 사고 증류'가 답변 조건부 연쇄적 사고로 인해 성능 저하를 일으킨다는 사실을 밝혀냈습니다.
연구 결과, 답변을 보여주며 해당 답변에 도달하는 연쇄적 사고를 생성하도록 유도하는 방식은 모델의 검증 가능 추론 정확도를 최대 27포인트까지 떨어뜨렸습니다.
이러한 문제는 데이터 자체에 내재된 것으로, 데이터 정제 필터로도 해결할 수 없으며, 모델 아키텍처나 교사 모델에 관계없이 나타나는 현상입니다.
연구진은 답변을 보여주지 않고 생성하는 '답변 무시' 방식이 LLM의 추론 능력 향상에 더 효과적이라고 제안합니다.