연구진은 음성 변화 없이 얼굴 표정만 조작하는 기술(SPFEM)의 데이터 부족 문제를 해결하기 위해 개인 맞춤형 감정 상관 학습(PCMECL) 알고리즘을 제안했어요.
PCMECL은 기존 VLM의 한계를 극복하기 위해 개인의 시각 정보를 활용하여 맞춤형 프롬프트를 학습하고, 시각-의미적 상관관계를 더욱 세밀하게 설정해요.
PCMECL은 시각 및 의미적 특징 분포의 차이를 줄이기 위해 특징 차분법을 사용하여 시각적 특징 변화와 의미적 특징 변화를 일치시키는 정교한 감독 신호를 제공해요.