연구진이 의료 영상 진단을 위한 멀티모달 지식 그래프 기반 프레임워크를 제안했어요. 이 프레임워크는 유사 사례를 활용해 사례 기반 추론을 수행하며, 진단 과정을 시뮬레이션합니다.
이미지 중심 그래프 어텐션 네트워크를 통해 지식 의미를 전파하고, 양방향 크로스 모달 어텐션 메커니즘을 적용해 시각적 표현에 통합하여 크로스 모달 정렬을 수행합니다.
신뢰도 기반 의사 결정 정제 기법을 설계하여 예측 신뢰도와 샘플 유사성을 고려해 검색된 사례의 기여도를 조정하고, 해석 가능한 사례 수준의 증거를 제공합니다.
다수의 의료 영상 데이터셋 실험 결과, 기존 방법 대비 우수한 성능을 보였으며, 각 구성 요소의 효과를 검증하는 분석도 진행했습니다.