연구진이 텍스트-비디오 확산 모델(LTX-2.3)을 활용해 다중 객체 추적(MOT) 시스템을 개발했어요. 이 시스템은 객체의 ID를 유지하는 대신, 각 객체를 고유한 색상으로 칠해 시각적으로 추적하는 방식이에요.
LoRA를 활용해 모델을 미세 조정하여 RGB 클립을 ID 맵 클립으로 변환하며, 색상 정보가 시간 경과에 따라 유지되도록 설계됐어요. 기존 추적 방식과 달리 검출기나 추적 스택 없이 작동해요.
DanceTrack 테스트 서버에서 40.3 HOTA를 달성했으며, 기존 벤치마크 트래커보다 높은 연관성 점수(AssA 44.1)를 기록했지만, 검출 성능은 부족했어요.
연구진은 생성 모델을 활용한 추적 방식이 기존 방식과 달리 색상 기반 재-식별 신호를 통해 객체 ID를 유지하며, 장시간 가려진 객체의 ID를 재-획득하는 데 효과적임을 확인했어요.