연구진은 LLM 강화 학습 시 발생하는 오프라인 데이터 문제를 해결하기 위해 Selective Importance Sampling (SIS) 방식을 제안했어요.
SIS는 오프라인 모델을 제안 분포로 보고 토큰 단위 거부 테스트를 수행하여, 거부되지 않은 토큰은 온라인 토큰으로 간주해 중요도 점수를 불필요하게 만듭니다.
수학 및 에이전트 벤치마크 실험 결과, SIS는 모든 목표를 개선하고 오프라인 데이터 환경에서 더 강력한 안정성을 제공하는 것으로 나타났어요.