연구진은 언어 모델이 추론 과정을 수행할 때 중요한 단계와 그렇지 않은 단계를 구분하는 방법을 조사했어요. 모델 내부의 활성화(activation)가 추론 단계의 중요도를 파악하는 데 토큰보다 더 많은 정보를 담고 있다는 사실이 밝혀졌어요. 모델은 이후 단계 생성이 시작되기 전에도 중요도를 나타내는 내부 표현을 인코딩하며, 이 표현은 다양한 모델에서 일반화되고 층(layer)에 분산되어 나타나요.