연구진이 언어 모델의 환각 현상을 평가하는 새로운 벤치마크 'PhantomBench'를 공개했어요. 6만 개 이상의 존재하지 않는 용어와 개체로 구성되어 있으며, 모델이 자신의 지식 범위를 얼마나 정확히 인식하는지 측정합니다.
PhantomBench 테스트 결과, 다양한 모델에서 환각 현상 발생률이 높게 나타났으며, 최첨단 모델조차도 존재하지 않는 개념에 대해 답변을 회피하지 못하는 경우가 많았어요.
PhantomBench는 모델이 희귀 개념에 대해 환각할 가능성을 예측하는 데 활용될 수 있으며, 연구자들은 이 벤치마크를 통해 모델의 행동을 연구하고, 새로운 개념을 생성하는 파이프라인을 구축할 수 있어요.