연구진은 LLM이 브랜드 추천 시 답변의 일관성 문제를 확인하고, 답변의 변동성이 발생하는 4가지 원인을 분석했어요.
프롬프트 재구성, 모델 식별, 질문 언어, 프롬프트 내 재샘플링이 답변 변동성에 영향을 미치며, 특히 질문 언어가 가장 큰 영향을 미치는 것으로 나타났어요 (26.5%).
프롬프트 반복 횟수를 늘리는 것보다 언어 및 모델을 다양화하는 것이 답변의 신뢰성을 높이는 데 더 효과적이며, 단일 답변의 브랜드 식별력은 매우 낮은 수준이에요.