연구진은 시선 추종 시 장면 이해와 시선 추론이 중요하다는 점에 주목했어요. 기존 비전 파운데이션 모델(VFM) 방식은 장면 이해는 뛰어나지만 시선 추론 능력은 부족하다는 한계가 있었어요. 연구진은 머리 위치에 따라 로컬 LoRA를 적용하고 시선 추종 방향 이탈에 대한 페널티를 부여하는 새로운 훈련 방식을 제안했어요.
GazeFollow 및 VAT 데이터셋 실험 결과, 제안 방식은 기존 방식보다 뛰어난 성능을 보였으며, 특히 시선 대상이 눈에 띄지 않는 경우 성능 향상이 두드러졌어요.
연구진은 논문 승인 후 코드를 공개할 예정이에요.