Pulse · AI 뉴스

시각 인식에서 누락된 모달리티에 대한 신뢰할 수 있는 잠재적 프롬프트 학습

arXiv cs.CV · 2026-06-30

연구진은 다중 모달 모델이 모달리티가 누락될 때 성능이 저하되는 문제를 해결하기 위해 새로운 패러다임을 제안했어요.

기존 방식과 달리, 입력에 구애받지 않는 학습 가능한 잠재적 프롬프트를 안정적인 잠재적 앵커로 모델링하여 극단적인 누락률에서도 강력한 가이드 역할을 하도록 설계했어요.

세 개의 벤치마크 데이터 세트에서 실험한 결과, '잠재적 프롬프트 학습' 접근 방식이 다양한 누락 모달리티 시나리오에서 최고 성능을 달성했어요.

##시각인식##다중모달##프롬프트학습##누락모달리티
매일 핵심 AI 소식을 한국어로, 빠르게
App Store 에서 Pulse 받기 앱에서 열기