연구진은 긴 컨텍스트 모델에서 Chain-of-Thought 인컨텍스트 학습(CoT-ICL)의 확장 현상을 연구하여, 기존의 많은 샷(shot) 규칙이 추론 작업에는 적용되지 않는다는 사실을 밝혀냈습니다.
연구 결과, CoT 데모스트레이션 수를 늘리는 것은 비추론 LLM에서는 불안정하지만, 추론 지향 LLM에서는 주로 효과가 있으며, 의미적 유사성 기반 검색은 비추론 작업에서는 도움이 되지만 추론에서는 실패합니다.
연구진은 CoT-ICL을 인컨텍스트 테스트 시간 학습으로 보고, 데모스트레이션의 쉬운 이해와 원활한 개념적 진행을 지원하는 순서가 중요하다고 제안하며, Curvilinear Demonstration Selection(CDS) 방법을 통해 최대 5.42%의 성능 향상을 달성했습니다.