연구진이 Chain-of-Thought (CoT) 방식의 내부 학습 메커니즘을 분석하고 이론적 근거를 제시했어요. Log-ICoT라는 새로운 커리큘럼을 통해 Transformer 모델이 다항 시간 안에 복잡한 추론 과정을 학습하는 것을 증명했어요. 기존 CoT 방식의 효율성을 유지하면서도 추론 비용을 절감할 수 있으며, 다층 아키텍처에서도 적용 가능하다는 점이 특징이에요.
Log-ICoT는 thinking token을 기하급수적으로 제거하여 학습 단계를 줄여, CoT 방식의 선형적인 단계를 로그 단계로 감소시켰어요. 실험 결과, 이론적 예측과 일치하는 추론 흡수 과정을 확인했어요.
연구는 Transformer 모델이 CoT 방식을 통해 복잡한 추론 과정을 효율적으로 학습하고 내부화할 수 있음을 보여주는 중요한 발견이에요.