연구진은 디퓨전 모델에 RLHF를 적용할 때 피드백 효율성이 낮다는 문제를 해결하기 위해 새로운 전략을 제안했어요. 선택적 타임스텝 가중치 기법은 정책 최적화 시 중요한 타임스텝에 더 큰 가중치를 부여하여 효율적인 그래디언트 업데이트를 가능하게 해요. 어드밴티지 기반 리플레이는 정보가 풍부한 트레이저리를 우선적으로 활용하여 모델이 반복적으로 보상을 요청하는 대신 과거 샘플을 재사용하도록 돕고, 샘플 효율성을 최대 6배 향상시켰어요.