연구진이 훈련 없이 사전 훈련된 MLLM을 이미지 생성 강화 학습의 보상 모델로 활용하는 SpectraReward를 제안했어요.
SpectraReward는 생성된 이미지에서 원래 프롬프트를 얼마나 잘 복구할 수 있는지 측정하며, 이미지-텍스트 정렬 능력을 재사용해요.
Self-SpectraReward는 정책 자체의 이해 브랜치를 활용해 외부 보상 모델 없이 자체 개선 루프를 형성해요.
다양한 실험 결과, SpectraReward와 Self-SpectraReward는 기존 방법보다 이미지 생성 성능을 향상시켰으며, 더 큰 보상 MLLM이 항상 더 나은 것은 아님을 보여줬어요.