연구진은 덴마크 난민 심판 결정문에서 신뢰도 평가 여부와 감정을 식별하는 새로운 법률 NLP 과제에 LLM 기반 주석을 활용하는 가능성을 조사했어요.
RAB-Cred 데이터셋을 구축하여 고품질 전문가 주석과 함께 주석자 자신감, 난민 사건 결과 등 유용한 메타데이터를 제공하며, 21개의 오픈 웨이트 모델과 30개의 시스템-사용자 프롬프트 조합을 벤치마크했어요.
연구 결과 LLM이 난민 결정 주석에 비용 효율적으로 활용될 수 있지만, LLM 주석가의 불완전하고 일관성 없는 특성을 고려해야 한다고 강조했어요.