연구진이 분산 자가 지도 학습(D-SSL) 접근 방식을 소개하며 막대한 비표시 데이터 활용을 시도했지만, 데이터 이질성이라는 난관에 직면했어요.
Masked Image Modeling(MIM)은 Contrastive Learning(CL)보다 비-IID 데이터에 더 강건하며, 네트워크 연결성이 높을수록 D-SSL의 강건성이 증가한다는 이론적 분석 결과를 얻었어요.
연구진은 MIM 기반 MAR 손실 함수를 제안하여 이론적 분석을 실증적으로 검증하고, 다양한 모델 구조와 분산 환경에서 효과를 확인했어요.