연구진은 시각 정보와 언어 정보를 결합한 모델(LVLM)의 환각 문제를 해결하기 위해 단계별 자가 보상 프레임워크를 새롭게 제안했어요.
제안하는 PSRD(Phase-wise Self-Reward Decoding)는 모델이 스스로 환각을 감지하고 수정하는 방식으로, 외부 데이터나 감독 없이 추론 과정에서 환각을 완화할 수 있어요.
실험 결과, PSRD는 LLaVA-1.5-7B 모델의 환각 발생률을 50% 감소시키고, 기존 방식보다 우수한 성능을 보였으며, 환각 확산을 효과적으로 막는 것을 확인했어요.