연구진은 3D 뇌 MRI 스캔과 방사선 보고서를 활용한 멀티모달 대비 학습(CL) 프레임워크 'MseaCL'을 제안했어요. 기존 CL 방식의 한계인 의미적으로 유사한 오판 샘플 문제를 해결하는 데 초점을 맞췄어요.
MseaCL은 방사선 보고서의 의미적 유사성을 학습 지침으로 활용하여 오판 샘플의 영향을 줄여 의료 영상 분석 정확도를 높여요.
연구 결과, MseaCL을 사전 학습 단계로 적용했을 때 소아 뇌종양 분자 분류 작업에서 ROC 곡선 아래 면적(AUC)이 최대 22.6% 향상되는 등 괄목할 만한 성능 향상을 보였어요.