본 논문은 사전 학습의 데이터 스케일링 현상을 이론적으로 분석하기 위한 새로운 메타 표현 학습 프레임워크인 복잡성 최소화를 소개합니다. 이 프레임워크는 각 도메인에 가장 적합한 다운스트림 모델 복잡성을 평가하고 소스 도메인 전체의 최악의 복잡성을 최소화하는 방식으로 작동합니다.
사전 학습부터 다운스트림 회귀까지의 엔드투엔드 이론적 분석 결과, 이 프레임워크가 데이터 스케일링 현상을 명확하게 반영하며, 메타 학습 데이터 양이 증가함에 따라 소량 데이터 적응 오류율이 개선되는 것을 증명했습니다.
실험적으로 복잡성 정규화를 기존 메타 학습 방법에 통합하면 다운스트림 샘플 효율성이 향상되는 것을 확인했습니다.