연구진이 다중 모드 융합 방식인 SeRIn(Segregate, Refine, Integrate)을 제안했어요. SeRIn은 각 모드별 신호 정제와 모드 간 상호작용 모델링을 분리하는 구조적 우선순위를 두고 있어요.
SeRIn은 각 모드별 표현이 독립적인 경로를 따라 진화하며, 각 인코더 컨텍스트에 맞게 정제돼요. 명시적 감독 없이 시각적 오류에 대한 게이트 분석을 통해 모드 재가중이 관찰돼요.
SeRIn은 CH-SIMS와 CMU-MOSEI 벤치마크에서 최고 성능을 달성하며, 모든 지표에서 향상된 결과를 보여줬어요.