연구팀이 대규모 언어 모델(LLM)에 인간 심리 검사 도구를 사용한 결과, 모델의 심리적 프로필은 측정 오류의 결과일 가능성이 높다는 사실을 밝혀냈습니다.
56개의 LLM과 인간 참가자를 대상으로 성격 및 위험 선호도 검사를 실시한 결과, 모델 간 차이는 검사가 겨냥하는 특성보다는 일관된 응답 편향에 의해 발생하며, 이는 모델 간 변동의 81~90%를 차지합니다.
연구팀은 모델의 심리적 프로필이 측정 도구에 따라 달라지며, 항목 선택을 통해 조작될 수 있다는 점을 확인하고, LLM에 적합한 새로운 평가 방법을 제안했습니다.