연구진은 다중 모달 데이터의 잠재력을 최대한 활용하기 위해 RePercENT라는 새로운 프레임워크를 제안했어요. RePercENT는 기존 방법의 확장성 한계를 극복하고 2개 모달리티를 넘어선 분산 표현 학습을 가능하게 해요.
플러그 앤 플레이 아키텍처를 통해 사전 추출된 임베딩을 직접 활용하며, 다양한 모달리티와 작업에서 분산된 요소를 성공적으로 복원하고 계산 복잡성을 줄였어요.
공동 최적화 목표와 이론적 보장을 통해 공유 및 고유 구성 요소를 동시에 파생시키며, 기존 방법보다 성능과 효율성을 향상시켰어요.