연구진은 CLIP의 지역화 능력을 픽셀 단위로 확장하는 CLIPix 프레임워크를 개발했어요. CLIP의 분류 과정을 추적하여 객체별 주의 영역을 파악하고 픽셀 단위 지역화 단서로 활용하는 방식이에요. 노이즈 저항성 보정 전략을 통해 정확도를 높이고, 지역화 임베딩 전략으로 고해상도 분할을 가능하게 했어요.
CLIPix는 기존 CLIP의 일반화 능력을 유지하며 객체 분할 잠재력을 발휘하며, PASCAL 및 COCO 데이터셋 실험에서 최고 성능을 달성했어요. 글로벌 특징 편향으로 인한 노이즈를 줄이기 위해 노이즈 저항성 보정 전략을 제안했어요.