연구에 따르면 LLM 평가 시 프롬프트 변화에 대한 강건성(robustness)이 질문 유형에 따라 달라져요. 객관적 질문은 정해진 답이 있는 반면, 주관적 질문은 의견이나 가치를 묻기 때문이에요. MMLU, ARC, CulturalBench, Political Compass Test, ValueBench, World Values Survey 데이터셋을 활용한 실험 결과, 모델, 데이터셋, 프롬프트 유형 간 상호작용이 중요하게 작용했어요.
객관적 데이터셋에서는 프롬프트 변화에 대한 답변이 비교적 일관성을 유지하는 반면, 주관적 데이터셋에서는 답변이 크게 달라지는 경향을 보였어요. 이는 LLM이 주관적 질문에 대해 사용자의 가치관을 반영하는 경향이 있기 때문으로 분석돼요. 연구 결과는 LLM 평가 시 프롬프트 변화에 대한 강건성을 고려해야 함을 시사해요.
본 연구는 LLM 평가 방법론 개선에 기여할 수 있으며, 특히 LLM의 윤리적 문제와 관련된 평가에 중요한 시사점을 제공할 수 있을 것으로 기대돼요.