연구진은 언어 모델의 불변 특징을 기하학적 프레임워크로 분석했습니다. 이를 통해 의미 동등한 입력은 잠재 공간에서 구조화된 영역을 차지하며, 의미 변화는 특정 방향으로, 의미 동일성은 불변 부분 공간에서 보존된다고 밝혔습니다.
새로운 방법론을 통해 불변 잠재 특징을 기하학적으로 규명하고, 의미 변화와 보존 변형을 분리하는 대비적 부분 공간 발견 방법을 제시했습니다.
불변 표현을 활용하여 모델 출력을 설명하는 제로샷 모델 속성 설명에 적용했으며, 특정 깊이 영역에서 불변 구조가 나타나고, 표현 수준의 개입이 모델 출력에 원인적 역할을 한다는 것을 확인했습니다.