연구진은 LLM이 두 가지 선택지 중 하나를 고를 때 합리적인 이유를 흉내 내는 것인지, 아니면 체계적인 의사 결정 구조를 반영하는 것인지 조사했어요. 속성이 점진적으로 부여된 프로필 사이에서 선택하는 이진 의사 결정 환경에서 모델이 중요하다고 말한 속성과 행동 모델에 따른 이전 의사 결정에 가장 잘 맞는 속성을 비교했어요. 행동 모델은 숨겨진 선택을 잘 예측하며, 모델의 행동이 눈에 보이는 속성과 체계적으로 관련되어 있다는 것을 보여줬어요.
모델의 직접적인 자기 보고와 별도의 점수 기반 판단자는 행동적으로 추론된 요인을 부분적으로만 회수했어요. 결과적으로 모델의 출력은 예측을 지원할 만큼 구조화되어 있지만, 명시적인 이유는 회수된 요인과 완벽하게 일치하지 않아요.
이러한 질적 패턴은 프롬프트 순서 및 샘플링 변경, 대체 행동 모델, 대상 폐색 분석 및 구조적으로 다양한 의사 결정 환경에서도 지속되며, LLM 의사 결정에 '피상적 신념'이 존재한다는 증거로 해석돼요. 모델은 속성에 대한 확률적 우선순위에 따라 행동하는 것처럼 보이지만, 의사 결정에 영향을 미치는 속성에 대한 언어적 접근성은 제한적이에요.