연구진은 UMM(통합 다중 모드 모델)의 이해-생성 불일치 문제를 분석했어요. 기존 UMM은 구조 통합만으로는 의미 일치를 달성하지 못하며, 특히 세부적인 요소에서 불일치가 발생해요.
STBridge는 이해와 생성을 공유 타겟 상태로 연결하는 프레임워크로, 먼저 공유 채널을 설정하고 강화 학습으로 조정하는 방식으로 작동해요.
STBridge는 다양한 벤치마크에서 성능을 개선하고, 모델 설명과 생성 결과 간의 불일치를 줄여 공유 타겟 정렬의 효과를 입증했어요.
연구 결과, UMM의 이해와 생성을 통합하려면 구조 통합 외에 공유 타겟 정렬과 같은 추가적인 전략이 필요하다는 점을 시사해요.