연구진은 얼굴 영상에서 맥박 신호를 분석하여 생리적 신호를 추정하는 원격 광전맥파(rPPG) 방법의 한계를 극복하기 위해 RhythmJEPA를 제안했어요.
RhythmJEPA는 RGB 프레임 대신 마스크된 얼굴 영상에서 잠재된 가이드 표현을 예측하여 생리 정보에 맞는 표현 학습을 유도해요.
Cyclic Rhythm-State Planner(CRSP)를 통해 맥박과 관련된 시간적 구조를 명시적으로 모델링하고, Dual Order Mamba Encoder(DOM)를 활용하여 시간적 연속성과 리듬 기반 의존성을 모두 포착했어요.