연구진은 LLM 강화 학습에서 널리 쓰이는 균일한 신용 할당 방식의 문제점인 Positive-Credit Contamination을 지적했어요. 이로 인해 문맥상 오류가 있는 tail 토큰도 plausible 토큰과 동일한 신용을 받아 잘못된 추론이 강화됩니다.
TACO는 tail-risk 점수를 계산하여 문맥에 따라 각 토큰의 위험도를 평가하고, 위험한 토큰의 신용을 조정하여 불필요한 업데이트를 억제하는 방법이에요.
세 개의 LLM과 8개의 벤치마크에서 TACO는 GRPO 기반 모델보다 우수한 성능을 보였으며, 안정적인 학습과 장기적인 성능 향상을 지원했어요. TACO 소스 코드는 GitHub에서 확인할 수 있어요.