연구진이 JEPA 학습의 안정성을 높이는 VISReg(Variance-Invariance-Sketching Regularization)라는 새로운 정규화 기법을 제안했어요. 기존 방식의 한계를 극복하고 분산과 스케치 정규화를 결합하여 데이터 분포 형태를 효과적으로 제어합니다.
VISReg은 기존 VICReg의 유연성과 SIGReg의 분포적 엄밀성을 융합하여, 데이터 손실 없이 안정적인 학습을 가능하게 하며, 저품질 데이터셋에서도 뛰어난 성능을 보입니다.
ImageNet-1K 데이터셋으로 사전 학습했을 때, 기존 방식보다 뛰어난 성능을 보였고, ImageNet-22K 데이터셋으로 학습했을 때는 DINOv2와 동등한 수준의 OOD 성능을 달성했어요.