연구진은 CLIP 모델의 잠재 공간에서 파라미터 효율적인 추론을 통해 다운스트림 작업에 적응하는 새로운 프레임워크 PERL을 소개했어요.
PERL은 동결된 CLIP 모델에 소형 공유 추론 모듈을 적용하여 반복적인 개선 단계를 거치며 잠재적 표현을 정제하는 방식으로 작동해요.
15개의 벤치마크에서 PERL은 가장 큰 접근 방식보다 최대 817배 적은 6천 개의 학습 파라미터로 뛰어난 성능을 보였으며, 새로운 클래스 정확도와 전송 성능을 모두 확보했어요.