연구진은 뇌 MRI, 임상 데이터, 텍스트 정보를 융합하는 새로운 뇌졸중 예측 모델을 개발했어요. LLM을 활용해 뇌 MRI에서 진단 텍스트를 자동으로 생성하고, 시각 정보를 활용해 텍스트 정보와 심층적인 상호작용을 유도했어요. 실제 임상 데이터 실험 결과, 기존 모델보다 뛰어난 성능을 보였어요.
기존 뇌졸중 예측 모델은 이중 모달 융합에만 집중하고, 다양한 데이터 통합 프레임워크가 부족했어요. 새로운 모델은 시각적 특징을 조건부 우선순위로 활용하여 텍스트 정보와 세밀한 상호작용을 유도하는 VDAFM 모듈을 설계했어요.
VDAFM 모듈은 이중 의미 정렬 손실을 통해 모달 이질성을 완화하고, 뇌졸중 예측 성능을 향상시켰어요. 이 모델은 실제 임상 데이터셋에서 최고 성능을 달성했어요.