연구진은 LLM의 디코딩 방법이 시퀀스 확률에 미치는 영향을 분석했어요. 디코딩 방법, 하이퍼파라미터, 프롬프트-응답 쌍, 반복 응답을 통해 시퀀스 확률과 정확성의 관계를 조사했답니다. 특정 데이터셋 내 프롬프트-응답 쌍에서 시퀀스 확률이 높을수록 정확도가 높게 나타나지만, 하이퍼파라미터나 방법을 변경하여 시퀀스 확률을 높인다고 해서 정확도가 향상되지는 않아요.
같은 프롬프트에 대한 반복 응답에서 시퀀스 확률은 정확성을 나타내는 좋은 지표가 아니며, 디코딩이 정확성을 개선할 수 있는 한계와 가능성을 명확히 밝혔어요. 디코딩, 자기 일관성, 검증자 없는 자기 개선에 대한 실질적인 지침을 제공합니다.