연구진은 시각 기반 모델 적응 시 프롬프트 기반 방법의 레이어별 정보 흐름 문제를 지적했어요. 새로운 프레임워크 'PIB'를 제안하여 레이어별 압축-충분성 균형을 조절하고 정보 경로를 개선했어요. PIB는 핵심 정보는 유지하고 불필요한 정보는 제거하여 성능과 일반화 능력을 향상시켰어요.
PIB는 34개 데이터셋에서 92.1%의 FGVC 정확도를 달성하며 평균 0.35%의 파라미터만 튜닝했어요. 기존 방법의 단점을 보완하고, 분포 변화에 강건하며, 미세한 차이를 인식하는 데 도움을 줘요.
PIB는 프롬프트 용량 확장 방식의 비선형적 행동을 설명하고, 단축키 의존성을 줄이며, 더 나은 정보 할당 관점을 제시해요. 코드는 GitHub에서 확인할 수 있어요.