연구진이 다중 모드 문서 질문 답변을 위한 새로운 훈련 프레임워크 Perception-RFT를 제안했어요. 이 프레임워크는 중간 추론 토큰을 생략하고 시각적 특징을 구조화된 답변과 직접 연결하는 Group Relative Policy Optimization(GRPO)를 사용해요.
Perception-RFT는 기존의 지도 미세 조정(SFT)이나 강화 학습(RL) 방식의 한계를 극복하고, 4B 파라미터 규모에서 직접적인 시각적 정책으로 수렴하여 쿼리당 추론 토큰 길이를 60% 이상 줄였어요.
연구 결과, 다중 모드에서도 텍스트 영역과 마찬가지로 SFT 포화와 RL 초기 불안정 문제가 발생하며, 시맨틱 강건성과 기하학적 정밀도 간의 균형을 맞추는 Grounding Divergence 현상이 확인됐어요.
초기 SFT→RL 전환은 65% 적은 데이터로도 유사한 정밀도를 달성하며, 다중 모드 문서 질문 답변 훈련의 효율성을 높일 수 있음을 보여줬어요.