연구팀은 Schwartz의 인간 가치 이론에 기반해 소셜 미디어 텍스트의 가치 표현을 측정하는 LLM 어노테이션 방법을 연구했어요. 다양한 LLM과 프롬프트, instruction 언어가 텍스트의 가치를 어떻게 해석하는지 분석했답니다. 이론 기반 가치 정의를 통해 해석의 일관성을 높이고, spurious value attribution을 줄일 수 있다는 점을 확인했어요.
LLM 어노테이션은 soft-label training을 통해 인코더 모델에 전송 가능하며, 이론 기반 가치 해석과 불확실성 정보를 유지할 수 있다는 점을 입증했어요. 반복적인 오류 분석을 통해 expert verification 규칙을 도출하고, 이를 어노테이션 과정에 활용하여 정확도를 높였답니다.