연구진이 이미지의 다양한 의미적 측면을 고려한 시각적 유사성 판단 데이터셋을 구축했어요. 기존 VLMs는 인간의 판단과 비교했을 때 성능 격차가 큰 것으로 나타났어요. 텍스트 프롬프트를 활용한 TPIPS 측정 방법으로 인간의 인지 능력과 더 유사한 결과를 얻을 수 있었어요.
TPIPS는 텍스트 프롬프트에 따라 다양한 시각적 유사성을 포착하며, 텍스트 기반 검색, 조합 검색, 생성 모델 평가 등 다양한 분야에 활용될 수 있어요. 연구 결과와 코드는 GitHub에서 확인할 수 있어요.