연구진은 추론 시 누락된 모드가 발생하는 현실적인 예측 시스템의 문제를 해결하기 위해 불완전 다중 모드 학습(IML) 프레임워크 MARS(Missingness-Aware Residual-guided Specialization)를 제안했어요.
MARS는 누락으로 인해 발생하는 표현의 차이를 활용하기 위해 잔차 기반 전문가 특화 혼합 전문가 프레임워크를 사용하며, 완전 모드 표현과 불완전 모드 표현을 비교하여 잔차 신호를 유도해요.
잔차 신호는 잔차 라우터를 통해 샘플을 할당하여 해당 편차 패턴에 특화된 전문가에게 할당하고, 또 다른 특징 라우터는 불완전 입력만으로 이 라우팅 행동을 모방하여 완전 모드 없이 배포할 수 있도록 해요.
CASIA-SURF, CREMA-D, UPMC Food-101 데이터셋의 분류 작업과 MCubeS 데이터셋의 분할 작업에서 MARS는 기존 방식보다 우수한 성능을 보였어요.