연구진은 언어 모델의 토큰 크레딧 추정 시 재-피딩 방식의 문제점을 분석했어요. 재-피딩은 모델이 생성 과정에서 거쳤을 상태를 재현하지 못하고, 7~21%p의 오차를 발생시킬 수 있어요. 이로 인해 토큰 선택 시 오류가 발생할 수 있으며, 정확한 상태 복원이나 배치 불변 커널 사용을 권장해요.
연구는 세 가지 방식으로 진행됐는데, 디코딩 상태 복원, 동일한 정확한 패스, 그리고 재-피딩 패스였어요. 재-피딩 패스는 다른 방식보다 더 큰 변화를 보여줬고, 이는 토큰 선택에 영향을 미쳤어요.
연구 결과, 토큰 크레딧 측정은 단일 샘플로 신뢰할 수 없으며, 디코딩 상태 복원이나 배치 불변 커널 사용을 통해 더 정확한 결과를 얻을 수 있어요. 연구에 사용된 총 컴퓨팅 비용은 10달러 미만이었어요.
연구진은 재-피딩 방식의 문제점을 확인하고, 토큰 크레딧 추정 연구에서 디코딩 상태 복원이나 배치 불변 커널 사용을 권장하며, 리플레이어 바닥을 보고할 것을 제안했어요.