연구진은 LLM은 뛰어난 추론 능력을 보이는 반면, 시각-언어 모델(VLM)은 시각적 추론에 어려움을 겪는다는 것을 확인했어요. 텍스트, 다이어그램, 텍스트+다이어그램 결합 등 다양한 시각적 표현이 서로 다른 추론 경로와 오류 모드를 드러낸다는 사실을 발견했어요.
연구진은 다양한 시각적 표현을 활용한 데이터셋 ODA-Data를 구축하고, MIRROR라는 강화 학습 방법을 개발하여 다중 모드 추론을 개선했어요.
MIRROR는 각 문제에 대해 모든 시각적 표현을 평가하고, 가장 성능이 좋은 시각적 표현을 교사로 활용하여 다른 시각적 표현을 역-KL 목표를 통해 학습시켜 정확하고 일관된 행동을 유도합니다.