연구진이 아랍어-히브리어 인지사 벤치마크인 SemCog Bench를 공개했어요. 이 벤치마크는 1,858개의 단어 쌍으로 구성되어 있으며, LLM의 교차 언어 의미 이해 능력을 평가합니다. 현재 LLM은 형태 유사성에 의존하여 인지사 식별에 어려움을 겪으며, 문맥 정보만으로는 이 문제를 해결하기 어렵다는 결과가 나왔어요.
SemCog Bench는 LLM이 진정한 인지사, 오해를 불러일으키는 유사어, 현대 차용어 간의 차이를 구분하는 능력을 평가합니다. 연구 결과, LLM은 형태 유사성에 크게 의존하여 성능이 저하되는 한계가 있음을 확인했어요.