본 논문에서는 다중 모달 대규모 언어 모델(MLLM)의 의료 분야 성능 향상을 위해 의료 실체 트리(MET)를 활용하는 새로운 데이터 엔지니어링 프레임워크를 제안합니다.
제안하는 프레임워크는 의료 문헌에서 실체를 추출하여 질병, 해부학적 구조, 영상 모드, 증상을 통합 지식 저장소로 체계적으로 표현하는 MET를 구축합니다.
실험 결과, 제안하는 방법은 다양한 의료 벤치마크에서 MLLM의 의료 능력을 향상시켜 복잡한 임상 질문에 대한 답변 정확도를 높였습니다.