연구진이 아랍어 질문 답변 모델의 환각 현상 탐지, 위치 추적, 설명, 검증을 위한 정밀 벤치마크 HalluTruthQA를 공개했어요.
HalluTruthQA는 이슬람 지식, 역사, 과학, 지리 등 4개 분야의 2,400개 예제로 구성되며, 각 예제는 질문, 모델 답변, 검증된 답변, 환각 여부, 사실 검증 후보, 오기 오류 범위, 설명 등을 포함해요.
Allam, Falcon-H1, Qwen32, Silma 모델을 평가한 결과, 환각 탐지, 위치 추적, 사실 검증, 설명 평가 등 각 작업은 서로 다른 능력을 요구하는 것으로 나타났어요.