본 논문은 다중 모달 학습에서 누락된 모달리티 문제를 해결하기 위해 UL4M4라는 프레임워크를 제안합니다. UL4M4는 예측 전에 누락된 특징 임베딩을 추정하여 임의의 모달리티 누락 패턴을 지원합니다. 비지도 학습 단계를 통해 불완전한 관측치를 공정하게 클러스터링하고, 다양한 차원과 모달리티 수에 걸쳐 스케일 불변성을 유지합니다.
UL4M4는 가벼운 임베딩 모듈을 사용하며, 다운스트림 작업과 분리되어 기존 퓨전/예측 아키텍처에 쉽게 통합할 수 있습니다. 50% 이상의 모달리티 슬롯이 누락된 상황에서도 F1-Micro 점수가 0.7 이상을 달성했습니다.
GitHub에서 관련 코드를 확인할 수 있습니다.