연구진은 프롬프트 최적화를 베이지안 후류 샘플링 문제로 정의하는 BayesPO 프레임워크를 제안했어요.
BayesPO는 입력-출력 예시를 설명하는 likelihood term과 유창한 지시문을 선호하는 language-model prior를 결합하여 프롬프트 토큰에 대한 후류 분포를 정의해요.
Qwen2.5 모델 실험 결과, BayesPO는 의미 있는 프롬프트를 발견하고, 병렬 템퍼링은 지역 최적점에서 벗어나는 데 도움을 주며, APE 프롬프트 최적화 시 평균 정확도를 60.04%에서 63.23%로 향상시켰어요.