자연어 처리에서 단어의 구체성 평가는 널리 사용되지만, 맥락에 따라 구체성의 의미가 변할 수 있으며, 특히 은유와 같은 비유적 표현에서 두드러집니다.
연구 결과, LLM은 초기 레이어에서 단어의 문자 그대로의 의미와 비유적 의미를 구분하며, 중간 레이어에서는 여러 모델에 걸쳐 일관된 방향으로 구체성을 압축합니다.
이러한 기하학적 구조는 실제 분류 작업에 활용될 수 있으며, 생성 과정을 문자 그대로 또는 비유적으로 조작하는 데에도 도움이 됩니다.