연구진은 21개의 LLM이 추상적 개념을 인간과 어떻게 다르게 이해하는지 연구했어요. LLM은 인간보다 단어 연관성에 지나치게 의존하고, 감정이나 내면 상태와 관련된 속성을 충분히 생성하지 못한다는 결과가 나왔어요. 인간과의 상관관계가 0.37을 넘지 않는 '의미 연결 간극'이 발견되었어요.
LLM이 추상적 개념의 의미를 평가하는 실험에서, 모델 크기가 커질수록 인간과의 일치도가 높아지는 경향을 보였어요. 이는 LLM이 명시적으로 질문받으면 의미 연결 차원을 회복할 수 있지만, 자유롭게 단어를 생성할 때는 인간처럼 활용하지 못한다는 점을 시사해요.
연구는 LLM이 '감각-운동' 및 '사회적'과 같은 의미 연결 차원을 내부 특징에서 식별할 수 있음을 보여주며, LLM의 추상적 개념 이해 방식에 대한 새로운 통찰력을 제공합니다.