연구진이 극소량 데이터 환경에서 새로운 도메인에 적응하는 FSDIL 문제를 해결하기 위해 CVLC 알고리즘을 제안했어요. CVLC는 LLM을 활용해 시각 프로토타입과 언어 프로토타입을 융합하고, DCP 기법을 통해 파라미터 효율적인 fine-tuning을 수행해요.
기존 DIL 방식의 과적합 문제를 해결하고, 새로운 도메인에 대한 적응력을 높이기 위해 기반 도메인의 잠재 공간을 예약하는 방식을 사용해요. 공유 및 도메인별 구성 요소를 결합하여 일반 지식과 도메인별 세부 정보를 모두 활용합니다.
벤치마크 테스트에서 CVLC는 기존 방식보다 최대 16% 성능 향상을 보여줬으며, 코드는 GitHub에서 공개됐어요.