연구진은 흉부 엑스레이와 방사선 보고서로 훈련된 비전-언어 모델(VLM)이 이미지-보고서 간의 일대일 대응 관계를 보존할 수 있다는 점을 확인했어요. 이는 엑스레이와 보고서를 의도적으로 분리하는 상황에서 개인 정보 유출 위험을 초래할 수 있어요. 연구진은 공개된 데이터셋을 활용해 VLM의 재연결 위험을 평가하고, 차별적 개인 정보 보호(DP)를 적용하여 재연결 위험을 줄이는 방법을 제시했어요.
임상 전문화가 진행될수록 재연결 위험이 증가하는 것을 확인했으며, 가장 강력한 VLM은 1만 개의 후보 보고서에서 50배의 확률로 정확한 보고서를 찾아냈어요. 이러한 재연결 신호는 질병 라벨을 제거하는 어려운 부정적 샘플에서도 지속되었으며, 이는 광범위한 진단 범주를 넘어선 대응 관계를 나타냄을 시사해요.
연구진은 재훈련 없이 재연결 위험을 줄이기 위해 인코더를 고정하고, 정렬 계층을 정의하는 투사 헤드에만 차등 개인 정보 보호 최적화를 적용했어요. 이 방법은 1만 개의 후보 보고서에서 Recall@1을 61.8% 줄였으며, 이미지 측면의 유용성은 크게 손상되지 않았어요.
연구 결과, 공유 정렬 계층의 표적 DP 미세 조정은 이미지 표현을 크게 손상시키지 않으면서 교차 모드 재연결을 크게 줄일 수 있음을 보여줌으로써, 임상적으로 유용한 모델의 안전성을 높이는 데 기여할 수 있어요.