연구팀이 의료 영상과 텍스트를 결합하는 다중 모드 질의응답(VQA) 시스템의 디자인을 분석했어요. MediaEval Medico 2025 데이터셋을 활용해 9개 시스템의 성능을 평가한 결과, 사전 학습 모델을 효율적으로 적용하는 방식이 성능을 높이지만, 답변 정확도가 반드시 임상적 추론의 신뢰성으로 이어지지는 않아요. 구조화된 추론과 명시적 근거를 강조하는 방법이 다양한 질문 유형에서 더 안정적인 성능을 보였어요.
단순히 답변의 유사성을 넘어, 증거 기반 설명, 데이터 유출 방지, 경량화된 강건성 및 교정 검사를 고려해야 한다는 점을 강조했어요. 이러한 결과는 데이터 융합, 설명 가능성, 그리고 탄력적인 평가를 기반으로 신뢰할 수 있는 의료 다중 모드 AI 개발을 뒷받침해요.
연구는 데이터 융합, 설명 가능성, 그리고 탄력적인 평가를 기반으로 신뢰할 수 있는 의료 다중 모드 AI 개발을 뒷받침하며, 기존 방식의 한계를 지적했어요.