Whareformer는 장시간 1인칭 영상에서 카메라 착용자가 이동시킨 물체를 추적하는 OSNOM 과제에 대한 첫 번째 학습 기반 솔루션입니다. 이 모델은 기억 저장소와 관찰을 기존 추적에 연결하는 추적 할당 모듈의 두 가지 구성 요소로 이루어져 있습니다. Whareformer는 변화하는 객체 외형(무엇)과 업데이트된 3D 위치(어디)를 함께 추론하고 새로운 객체를 추론하기 위해 전용 New Track 토큰을 사용합니다.
상대 거리와 진화하는 추적 표현을 활용하여 56개의 짧은 영상으로 학습했지만 세 데이터 세트의 260개 장기 테스트 영상에서 기존 작업보다 성능이 크게 향상되었습니다. EPIC-KITCHENS-100 (새로운 영상), IT3DEgo, HD-EPIC가 해당됩니다.
Whareformer는 1인칭 영상에서 객체 추적의 정확도를 높여 로봇 공학, 자율 주행, 증강 현실과 같은 다양한 응용 분야에 기여할 것으로 기대됩니다.