연구진은 디코더 전용 언어 모델의 은유 처리 과정을 분석하기 위해 조건부 스케일 엔트로피(CSE)라는 새로운 측정 방법을 제시했어요. CSE는 모델의 계산이 다양한 주파수 스케일에서 얼마나 광범위하게 참여하는지를 나타내는 지표로, 업데이트의 강도와 상관없이 구조적 패턴을 분리하는 역할을 해요.
GPT-2, LLaMA-2, GPT-oss 등 다양한 모델에서 은유적 토큰은 문자적 토큰보다 더 넓은 스펙트럼 폭을 보이며, 이는 통계적 검증을 통해 확인되었어요. 이 현상은 모델의 깊이에 따라 일관되게 나타나며, 자연스러운 VUA 쌍에 대한 독립적인 분석 결과와도 일치했어요.
연구 결과는 은유적 언어 처리에 있어 다중 스케일 조정이 중요한 역할을 한다는 것을 보여주며, CSE는 트랜스포머의 깊이별 구조를 특성화하는 유용한 도구로 활용될 수 있음을 시사해요.