연구진은 사용자가 LLM에 신념을 표현하는 방식이 모델의 반응에 미치는 영향을 분석했어요. 신념 표현의 형태, 증거성, 지식 태도, 어조 4가지 요소를 기준으로 LLM의 반응을 평가하는 유형론을 개발했어요. 연구 결과, 규모가 크거나 instruction 모델일수록 작은 모델이나 base 모델보다 맥락을 따르지 않는 경향이 있다는 점을 확인했어요.
다양한 신념 표현 방식 중 일부는 LLM을 일관되게 설득하는 것으로 나타났어요. 이 연구는 프롬프트 엔지니어링과 모델의 견고성을 높이는 데 도움이 될 수 있는 LLM의 맥락 통합 방식에 대한 체계적인 패턴을 밝혀냈어요.
16개의 LLM을 평가한 결과, 모델 아키텍처, 규모, 학습 단계에 따라 반응 행동에 의미 있는 차이가 있음을 확인했어요.