멀티모달 도메인 일반화(MMDG) 연구의 진전을 평가하기 위한 통합 벤치마크 'MMDG-Bench'가 새롭게 공개되었어요. 기존 연구의 평가 방식이 일관되지 않아 실제 알고리즘 발전 여부를 파악하기 어려웠던 점을 개선했습니다.
MMDG-Bench는 액션 인식, 기계적 결함 진단, 감정 분석 등 3가지 과제를 포함하며, 6개의 데이터셋과 9가지 방법론을 표준화하여 평가하고, 데이터 손상, 누락된 모달리티, 모델 신뢰도 등 다양한 요소를 측정합니다.
연구 결과, 최신 MMDG 방법은 공정한 비교 하에 ERM 기준선보다 큰 폭의 성능 향상을 보이지 않았으며, 데이터 손상 및 누락된 모달리티 상황에서 모든 방법론이 성능 저하를 겪는 것으로 나타났어요.