연구진은 Vision-Language 모델이 이미지와 질문 순서에 민감하다는 점을 발견했어요. 세 모델과 세 벤치마크에서 이미지 먼저 프롬프팅이 질문 먼저 프롬프팅보다 일관되게 더 좋은 성능을 냈어요. 이 차이를 활용해 테스트 시간 훈련 방법을 설계했어요.
새로운 방법은 모든 환경에서 모달리티 순서 간의 격차를 크게 줄여줬어요. 놀랍게도 이미지 먼저 프롬프팅 분기에서 기존 성능을 개선하는 효과도 있었어요.
활성화 패칭을 통해 순서에 따른 실패 지점을 특정 네트워크 영역으로 좁혔고, 테스트 시간 훈련 방법이 이 불일치를 수정하는 것을 확인했어요.