연구진이 통합 멀티모달 모델의 이해와 생성 시너지를 평가하는 벤치마크 'Unison'을 공개했어요. Unison은 내부 일관성, 이해 기반 생성, 생성 기반 이해, 상호 보강 등 4가지 핵심 차원을 포함합니다.
Unison은 통합 모델과 분리된 트랙을 모두 제공하여 모델 실패 원인을 분석하고 통합 모델링의 이점을 정량적으로 평가할 수 있습니다.
연구 결과, 현재 통합 멀티모달 시스템의 한계를 밝혀내고 향후 연구 방향을 제시하며, 코드와 Unison, Unison-Judge는 GitHub에서 공개됐습니다.