연구에 따르면 언어 모델이 문제를 해결하기 위해 과도하게 샘플링하면 오히려 성능이 저하될 수 있습니다. 샘플링 횟수가 늘어날수록 올바른 답변의 비율(coverage)은 증가하지만, 실제 선택(selection)은 제한되어 있어 모델이 확신에 찬 실수를 할 가능성이 높아집니다.
연구진은 샘플링 횟수의 최적점을 '효과적인 샘플 수'로 정의하고, 이 값 이상으로 샘플링하는 것은 불필요한 비용을 초래하며 오히려 답변을 악화시킬 수 있다고 주장합니다.
결론적으로, 언어 모델의 성능 향상을 위해서는 샘플링 횟수를 최적화하고, 올바른 답변을 인식하는 데 집중해야 합니다.