연구팀은 시청자의 시선을 활용해 개인 맞춤형 비디오 캡션을 평가하는 새로운 방법인 VEGAS를 제안했어요. VEGAS는 시청자의 시선 데이터를 활용해 캡션의 주의 집중도를 측정하는 정보 이론 기반의 측정 지표입니다. 연구팀은 VEGAS를 평가하기 위해 시선 데이터와 참조 주석이 연결된 활동 및 교육 슬라이드 데이터셋을 구축했어요.
VEGAS를 통해 선택된 캡션은 인간의 시선과 더 잘 일치하며, 비디오 검색 성능을 향상시키는 것으로 나타났어요. VEGAS는 모델 재훈련 없이도 캡션을 선택하는 데 활용할 수 있습니다.
VEGAS는 기존 캡션 생성 모델의 한계를 극복하고, 개인 맞춤형 비디오 콘텐츠 경험을 향상시키는 데 기여할 수 있습니다.