연구진은 MLLM의 환각·조작·비판적 추론 오류를 줄이기 위해 Groc-PO라는 새로운 프레임워크를 제안했어요. Groc-PO는 객체 기반, 문맥 기반, 추론 기반 3단계로 나누어 선호도 최적화를 진행하여 오류 전파를 줄여요. GCPD 데이터셋을 구축하여 객체 기반 선호도 최적화의 효과를 입증했어요.
Groc-PO는 기존 DPO 방식의 문제점을 개선하여, MLLM의 문맥 의존적 추론을 강화하고 단계별 오류 전파를 완화하는 데 집중했어요. 객체 기반, 문맥 기반, 추론 기반 3단계로 나누어 선호도 최적화를 진행해요.
실험 결과 Groc-PO는 환각 감소, 정확한 추론, 전반적인 신뢰도 향상에서 기존 DPO 및 다른 모델보다 우수한 성능을 보여줘요. 이는 MLLM의 신뢰성을 높이기 위해 객체 기반 선호도 최적화가 중요하다는 것을 시사해요.