의료진은 환자의 증상, 병력, MRI·CT 스캔 데이터를 종합하여 뇌종양을 진단합니다. 하지만 대부분의 딥러닝 모델은 MRI/CT 이미지에만 의존하여 의료진의 다중 모드 추론을 모방하지 못합니다. 연구진은 MRI 스캔과 91개의 추출된 방사선학적 특징을 결합하여 뇌종양을 분류하는 네트워크를 개발했습니다.
이미지 스트림은 사전 훈련된 CNN 백본으로, 방사선학적 스트림은 전용 MLP로 인코딩합니다. 연결, 게이팅, 양방향 교차 모드 어텐션 전략을 통해 두 스트림을 융합합니다.
9개의 실험에서 모든 다중 모드 구성이 단일 모드 기준선보다 성능이 우수했으며, 게이팅 융합이 **96.13%**의 최고 정확도를 달성했습니다.