본 연구는 뇌종양 분류를 위해 CNN 예측과 임상적으로 유용한 인사이트를 연결하는 다중 모달 설명 가능 프레임워크를 제시합니다. Grok3, Mistral, LLaMA 등 LLM을 활용하여 방사선학적 진단 보고서를 생성합니다.
9개의 CNN 아키텍처를 확장하여 분류 헤드와 분할 헤드를 동시에 최적화하고, Grad-CAM, Grad-CAM++, ScoreCAM 등의 시각적 주의력 기법을 적용하여 뇌종양 마스크를 생성합니다.
Grok3는 어휘 다양성과 일관성에서, LLaMA는 가독성에서 가장 높은 점수를 얻었으며, 통합된 파이프라인은 기술적으로 근거가 있고 의미 있게 해석 가능한 설명을 제공합니다.