연구진은 공간적 정보를 활용하는 방사선학 시각-언어 모델 학습 방법을 연구했어요. 120만 개의 CT 및 MR 이미지-텍스트 쌍으로 구성된 대규모 이중 언어(독일어/영어) 데이터셋 RefRad2D를 새롭게 구축했어요. RadGrounder 모델은 보고서 생성, 시각적 질문 답변, 공간적 위치 파악을 동시에 수행하며, 기존 의료 시각-언어 모델과 경쟁력 있는 성능을 보여줘요.
RefRad2D 데이터셋을 활용한 학습은 기존 방식보다 더 나은 성능을 보이며, 공간적 위치 파악 능력 향상에 기여해요. 중요한 점은 공간적 위치 파악을 위한 지도 학습을 적용해도 언어 품질 저하가 없다는 것이에요.
공간적 위치 파악 능력은 VQA 성능에 영향을 주지 않으면서도 가능하며, 이는 임상적으로 검증 가능한 결과를 얻을 수 있음을 의미해요.