연구진은 InfoNCE 손실 함수를 사용하는 대비 학습 모델에서 일반화 위험이 음수 샘플 수(k)에 따라 달라지는 것을 확인했어요. 음수 샘플 수가 증가할수록 손실 함수는 이상적인 소프트맥스 검색과 유사해지는 경향을 보여요. 이를 통해 기존의 상호 정보량 해석을 보완하고 임베딩의 정렬과 균일성을 설명할 수 있어요.
새로운 연속성 경계를 도입하여 InfoNCE 손실 함수의 일반화 성능을 정량화했어요. 이 경계는 손실 함수에 존재하는 음수 샘플에 대한 평균화 구조를 유지하고 알고리즘 온도를 고려할 수 있는 '역 온도' 파라미터를 포함해요.
파라미터에 대해 리프시츠 조건을 만족하는 임베딩 함수는 음수 샘플의 평균화 효과가 일반화 오차를 안정화하는 데 기여하는 것을 보여줘요.