연구진은 EHR 환자 데이터를 활용한 공동 임베딩 예측 사전 훈련 프레임워크인 Clin-JEPA를 개발했습니다. Clin-JEPA는 환자 경향을 예측하고 다양한 위험 예측 작업을 수행하는 단일 백본을 확보하는 데 목표를 두고 있습니다. Qwen3-8B를 기반으로 한 인코더와 92만 파라미터의 잠재적 궤적 예측기를 안정적으로 공동 훈련합니다.
Clin-JEPA는 48시간 동안 잠재적 $\ell_1$ 롤아웃 드리프트가 수렴하는 것을 확인했으며, 이는 기준선 및 능동적 실험보다 훨씬 우수합니다. 또한, 임상적으로 차별화된 잠재적 기하학적 구조를 학습하여 악화되는 환자 그룹이 안정적인 환자 그룹보다 잠재 공간에서 4.83배 더 멀리 이동하는 것을 확인했습니다.
Clin-JEPA는 ICareFM EEP에서 평균 AUROC 0.851, 8개의 이진 위험 작업에서 0.883을 달성하며, 이는 기존 방식보다 각각 0.038과 0.041 향상된 수치입니다.