연구진은 사전 조건부 최적화기의 확률적 업데이트 규칙이 모집단 사전 조건부 하강의 직접적인 근사치로 간주되는 경향이 있지만, 이 관점은 두 가지 유한 샘플 편향을 간과한다고 밝혔어요.
교차 적합 사전 조건부 추정은 수치형 마이크로배치 그룹에서 수식자와 사전 조건부를 추정하여 첫 번째 효과를 해결하고, 분산 수정된 역변환은 두 번째 효과를 해결하기 위해 마이크로배치 변동성을 활용하여 주요 델타 방법 편향 항을 제거해요.
편향 수정은 Qwen2.5-0.5B의 사전 훈련 손실을 각각 0.15, 0.07, 0.11 nats 줄여 성능을 개선하는 실질적인 방법으로 입증됐어요.