연구진은 픽셀 단위 어노테이션 없이 텍스트 프롬프트를 활용한 이미지 분할 모델의 성능 저하 문제를 해결하기 위해 PrAda를 제안했어요. PrAda는 기존 모델의 오분류 문제를 해결하고 새로운 도메인에 적응하는 소량 데이터 시각적 적응 방법을 제시합니다. 실험 결과, PrAda는 기존 방식보다 성능이 향상된 것으로 나타났어요.
PrAda는 픽셀 특징과 트랜스포머 표현을 결합하여 클래스별 프로토타입을 학습하고, 이를 텍스트 기반 예측과 융합하여 모델의 제로샷 잠재력을 유지하면서 새로운 도메인에 강하게 적응하도록 합니다. 이는 의미, 인스턴스, 판옵틱 분할을 포함한 다양한 벤치마크에서 성능 향상을 가져왔습니다.
기존 연구에서 이미지 분류에 활용되던 소량 데이터 시각적 적응 기법을 분할에 적용한 첫 사례로, PrAda는 기존 모델의 오분류 문제를 해결하고 새로운 도메인에 적응하는 데 효과적입니다.