연구진은 LLM이 프롬프트에 민감하게 반응하며, 반복적인 프롬프트 최적화 과정에서 프롬프트가 길어지고 특정 샘플에 맞춰져 일반화 성능이 떨어지는 분산 과적합 현상을 발견했어요.
TextReg는 이 문제를 해결하기 위해 텍스트 공간 최적화 과정에서 표현 제어를 강화하는 정규화 프레임워크로, Dual-Evidence Gradient Purification, Semantic Edit Regularization, Regularization-Guided Prompt Update 기술을 활용해요.
TextReg는 다양한 추론 벤치마크에서 TextGrad 대비 최대 11.8%, REVOLVE 대비 16.5%의 정확도 향상을 보여 OOD(Out-of-Distribution) 일반화 성능을 크게 개선했어요.