연구진은 LLM 페르소나 기반 생성(PDG)이 다중선택형 질문 답변(MCQA)에서 불안정성을 보인다는 사실을 밝혀냈습니다. 성능, 결과, 질문 정확성 측면에서 세 가지 지표를 개발하여 모델 종류, 크기, 질문 영역에 따른 불안정성 변화를 분석했습니다. 프롬프트 형식이 다른 하이퍼파라미터보다 예측 불안정성을 더 크게 유발하며, 불안정성은 작업 정확도와 관련이 있음을 확인했습니다.
모델별로 최적의 페르소나가 달라지는 현상을 발견하여, PDG에서 하이퍼파라미터 불안정성을 점검하는 중요성을 강조했습니다. 연구 결과는 MCQA 작업에서 페르소나 기반 생성의 신뢰성을 높이는 데 기여할 것으로 기대됩니다. 연구는 LLM 페르소나 기반 생성의 안정성을 높이기 위한 추가 연구의 필요성을 제시합니다.