연구진이 LLM의 반성 기반 추론 과정을 분석하여 인-컨텍스트 검색의 복잡도를 연구했어요. 반성이 초기의 실수를 정확히 찾아낼 때, 인-컨텍스트 검색은 기존 모델보다 기하급수적으로 성능을 향상시킬 수 있어요. 하지만 반성이 효과적이지 않으면, 기존 방식과 큰 차이가 없어요.
추론 과정의 샘플링 복잡도는 LLM이 문제를 해결하기 위해 필요한 시도 횟수를 의미하며, 연구 결과에 따르면, 반성 기반 추론은 이 횟수를 줄일 수 있어요. 이러한 개선은 근사적인 후처리 업데이트로도 가능하며, 폴리노미얼 샘플링 복잡도로 학습할 수 있어요.