이 연구는 자유 형식 법률 질문 답변 평가에서 LLM 심판의 역할과 프롬프트 설계, 심판 선택의 중요성을 탐구해요.
ProTeGi 방법으로 프롬프트를 최적화한 결과, 자동 최적화가 인간 중심 설계보다 우수한 성능을 보였고, 관대한 심판 피드백이 엄격한 심판 피드백보다 더 높은 효과를 냈어요.
관대한 심판 피드백으로 최적화된 프롬프트가 엄격한 심판에게 더 잘 전달되는 것을 확인했으며, 이는 심판의 성향이 프롬프트의 일반화 가능성에 영향을 미치는 것을 보여줘요.