연구진은 LLM이 전문가의 의견과 자신의 의견을 구분하여 답변하는지 평가하는 새로운 벤치마크 ESFP를 공개했어요.
ESFP는 104개의 항목으로 구성되어 있으며, 어휘적 자기 서술, 역할 프레임에 대한 반응성, 문장 수준의 태도 내용 밀도, 조건 간 태도 일관성 등 4가지 차원을 평가해요.
평가 결과, 서술 태도 유연성은 일반적인 모델 능력과 거의 무관하며, 270억 파라미터 오픈 웨이트 모델이 최고 성능의 독점 모델과 유사한 결과를 보였어요.
ESFP는 모델이 서술 조건 변화에 따라 태도를 조정하는 경향을 측정하며, 일반적인 능력 측정과는 다른 목적을 가지고 있어요.