최근 MLLM은 시각적 이해에서 뛰어난 성능을 보이지만, 특히 사건의 순서와 변화를 파악해야 하는 시점 영상에서는 시간 인지 능력이 부족해요. 이는 프레임 단위의 공간적 지름길에 의존하는 학습 목표 때문에 발생합니다.
연구진은 시간 추론을 명시적으로 보상하는 강화 학습 알고리즘인 Temporal Global Policy Optimization (TGPO)을 제안했어요. TGPO는 검증 가능한 보상을 사용해 시간적 일관성을 높이는 것을 목표로 합니다.
TGPO를 통해 모델은 시간적 맥락을 더 잘 이해하고, 시점 영상에서 더욱 정확한 추론을 수행할 수 있을 것으로 기대돼요.