MIRAGE는 의료 교육을 위한 다중 모드 이미지 및 텍스트 검색·생성 시스템으로, 사용자가 신뢰할 수 있는 출처에서 임상 관련 이미지를 검색하고 생성할 수 있도록 텍스트와 이미지를 공유 잠재 공간에 매핑합니다.
시스템은 CLIP의 의료 버전인 MedICaT-ROCO를 기반으로 하며, PubMed Central의 ROCO 데이터 세트를 활용하여 훈련되었습니다.
MIRAGE는 이미지 검색, 합성 이미지 생성, 대규모 언어 모델(Dolly-v2-3b)을 통한 풍부한 설명 제공을 지원하며, 의료 조건의 시각적 비교를 위한 이중 검색 옵션도 제공합니다.