연구진이 CT 영상과 방사선 보고서 간의 세밀한 연관성을 학습하는 OCP-CT 프레임워크를 제안했어요. OCP-CT는 장기 조건부 패턴 토큰 정렬을 통해 CT 영상과 보고서의 불일치를 줄여요. 공개 CT-RATE 및 RAD-ChestCT 벤치마크에서 기존 방식 대비 최대 6.7%의 AUROC 향상을 달성했어요.
OCP-CT는 MoE를 활용해 이미지와 텍스트 토큰을 라우팅하고, 학습 가능한 슬롯을 통해 패턴 토큰을 생성하며, 임상적 유사성을 기반으로 구조화된 소프트 타겟을 활용해 이미지-텍스트 패턴 토큰을 정렬해요. 이를 통해 CT 영상과 방사선 보고서 간의 연관성을 더욱 정확하게 학습할 수 있어요.
연구 결과, OCP-CT는 기존 방식 대비 CT 영상 이상 진단에서 평균 AUROC 84.5%와 69.9%를 기록하며, 기존 최고 성능 대비 각각 6.7%와 0.8%의 AUROC 향상을 보여줬어요.