연구진이 영상 추론 모델의 신뢰성 문제를 해결하기 위해 Robust-TO 프레임워크를 제안했어요. Robust-TO는 영상 프레임별 신뢰도를 통합하여 추론 과정에 반영합니다. 두 가지 영상 추론 벤치마크에서 Robust-TO는 기존 모델 대비 평균 정확도 10.6% 향상, 교란 환경에서는 5.8% 향상된 성능을 보였어요.
Robust-TO는 다양한 시각 인지 도구를 통합하여 신뢰도-관련성 점수를 기반으로 프레임을 선택하고, 각 도구는 예측, 시간적 위치, 신뢰도 점수를 반환해요. 이 점수는 3단계 합성 과정에서 증거 가중치를 결정하고, 정확도, 신뢰도, 효율성을 최적화하는 데 사용돼요.
Gemini-2.5-Pro와 비교했을 때, Robust-TO는 깨끗한 입력에서 56.4%의 평균 정확도를 기록하며 10.6%p 차이를 보였고, 현실적인 교란 환경에서도 5.8%p 더 높은 정확도를 유지했어요.
연구 결과는 영상 추론 모델의 성능 향상과 더불어, 실제 환경에서의 안정성을 높이는 데 기여할 것으로 기대됩니다.