본 연구는 이미지 기반(I2I) 및 텍스트 기반(T2I) 인물 재식별(ReID)의 공동 최적화 문제를 다룹니다. 두 방식은 모달성 차이와 상충되는 학습 목표로 인해 최적의 공유 표현을 달성하기 어렵습니다. 연구팀은 I2I와 T2I ReID의 차이점을 분석하고, 두 작업 간의 간섭을 피하는 분리된 2단계 학습 파이프라인을 제안했습니다.
I2I ReID 사전 학습이 T2I 데이터의 일반화 능력에 긍정적인 영향을 미치며, 텍스트 감독을 통해 I2I 및 T2I 성능을 향상시킬 수 있음을 확인했습니다.
본 연구는 통합 ReID 시스템과 교차 모달 검색 발전에 의미 있는 기여를 할 것으로 기대됩니다.