연구진이 사전 학습된 MLLM을 활용한 새로운 보상 함수 SpectraReward를 제안했어요. 이 방법은 이미지 생성 강화 학습에 사용되며, 별도의 학습 없이 MLLM의 사전 학습된 이미지-텍스트 정렬 능력을 활용해요.
SpectraReward는 생성된 이미지에서 원래 프롬프트를 얼마나 잘 복원할 수 있는지 측정하며, 평균 이미지 조건 프롬프트 로그 가능성을 보상으로 사용해요.
Self-SpectraReward는 정책의 자체 이해 분기가 생성 분기를 위한 보상 모델 역할을 하는 특수한 경우로, 외부 보상 모델 없이 자체 개선되는 루프를 형성하며, 다양한 실험에서 기존 방법보다 성능이 우수했어요.