연구에 따르면 Chain-of-Thought (CoT) 연구에서 중요한 계산 위치를 파악하는 데 있어, 명시적인 최종 답변 문장이 있는 Chain의 경우 답변 텍스트가 나타나는 위치를 감지하는 오류가 발생합니다.
답변 문장을 제거하는 것만으로도 3B 모델에서 감수성(sensitivity)이 약 19배 감소하며, 잘못된 답변을 따르는 비율은 7B 모델에서 거의 0에 가까워지는 현상이 관찰되었습니다.
연구진은 Chain-of-Thought 연구의 신뢰성을 높이기 위해 질문만으로 통제하고, 형식을 특성화하며, 모든 위치를 스위프하는 3가지 필수 프로토콜을 제안합니다.