연구진은 LLM 추론에 있어 CoT의 효과 원인을 분석했어요. 짧은 추론과 긴 추론을 비교한 결과, 동일한 추론 계획을 따르는 자연스러운 생성 과정에서 추가 토큰은 정확도에 거의 영향을 미치지 않았어요. 동일한 내용을 담은 장황한 추론이 정확도를 약간 개선하지만, 이는 단순히 토큰 수 증가가 아닌 내용의 질에 따라 달라져요.
연구 결과, LLM 추론에서 중요한 것은 토큰의 양이 아닌 내용이며, 이는 기존의 단순 계산량 증가 또는 순수한 의미 콘텐츠 설명으로는 충분히 설명할 수 없는 현상이에요. 장황한 추론은 검증 내용과 연관되어 있으며, 숫자 정보 삭제 시 효과가 증폭되는 것으로 나타났어요.
연구진은 두 가지 실험을 통해 CoT의 효과를 분석했는데, 첫 번째는 동일한 질문에 대한 짧고 긴 추론을 비교하고, 두 번째는 동일한 내용을 담은 장황한 추론과 짧은 추론의 결과를 비교하는 방식이었어요. 이 과정에서 장황한 추론은 내용의 질에 따라 정확도를 약간 개선하는 것으로 나타났어요.