연구진은 LLM의 행동 경향을 저렴한 심리 측정 방법으로 예측하는 것이 안전한 배포에 중요하지만, 자기 보고(SR)가 행동을 신뢰성 있게 예측해야 한다고 주장해요.
기존 연구는 LLM의 자기 보고와 행동 간의 불일치를 확인했지만, 인간에게 특정 행동을 약하게 예측하는 광범위한 성격 특성(Big 5)에 의존했어요.
연구 결과, 특정 행동에 대한 의도를 측정하는 계획 행동 이론(TPB)은 공유된 대화 내에서 인간 수준의 일관성을 달성하지만, Big 5는 그렇지 못하며, 훈련으로 형성된 암묵적 편향과 같이 즉각적인 프롬프트 외부에서 고정된 행동에 대해서만 분리된 대화에서 일관성을 유지해요.
연구는 LLM의 행동을 평가할 때 광범위한 성격 프레임워크보다 과제 및 행동에 특화된 도구가 필요하며, 이러한 도구도 과제와 맥락을 통해 평가해야 한다고 제안해요.