연구진은 제한된 데이터에서 일반화하는 방법을 분석했어요. 사전 훈련과 선형 프로빙 과정을 주성분 분석과 선형 회귀로 모델화했어요. 고차원 환경에서 훈련 및 일반화 오류가 표현 차원, 비표시 데이터 및 표시 데이터 양에 따라 달라지는 것을 확인했어요.
풍부한 사전 훈련 데이터와 부족한 다운스트림 데이터의 경우, 최대 압축 표현이 최적이며, 제한된 사전 훈련 데이터의 경우 더 높은 차원의 표현이 더 잘 일반화됩니다. 사전 훈련과 감독 학습 간의 정확한 균형을 확립하여 단일 표시 샘플을 대체하는 데 필요한 비표시 데이터 양을 정량화했어요.
오토인코더 및 사전 훈련된 LLM에서 유사한 현상을 관찰하여 표현 크기 최적화가 중요하며, 사전 훈련 시 압축이 일반화를 개선하는 조건을 제시했어요.