연구진이 다중 모드 비디오 표현 학습을 위한 새로운 프레임워크를 제안했어요. 이는 RGB, IR, 깊이, 골격 등 여러 센서 데이터를 활용해 운전자 졸음 감지 성능을 높이는 데 목표를 두고 있어요.
기존 방식의 InfoNCE 방식은 모든 부정적 샘플이 동등하게 유용하고 모든 긍정적 샘플이 신뢰할 수 있다고 가정하지만, 실제 다중 모드 데이터에서는 종종 이 가정이 위배돼요.
연구진은 주기적 일관성 점수를 활용한 소프트 타겟을 도입해 부정적 샘플에 대한 엄격한 가정을 완화하고, 유사성 분포 기반 가중치 메커니즘을 통해 노이즈가 많은 긍정적 샘플의 영향을 줄였어요. Drive&Act 데이터셋에서 기존 방식보다 우수한 성능을 보였고, 다양한 카메라 시점에 대한 일반화 성능도 확인됐어요.