연구진은 대규모 언어 모델(LLM)의 추론 역학을 나타내는 신호로 은닉 상태의 L2 노름이 중요한 역할을 한다는 것을 밝혀냈습니다.
Sparse Autoencoders(SAE)를 활용한 분석 결과, LLM의 추론은 후반 레이어에서 활성화가 집중되는 특징을 보이며, L2 노름은 이러한 추론 강도를 나타내는 지표로 사용될 수 있습니다.
L2 노름 기반의 새로운 기술(Adaptive Layer-wise Reasoning Recursion, Endogenous Reasoning State Steering, l2-guided Response Selection)을 통해 LLM의 추론 성능을 향상시켰으며, 추가 훈련이나 데이터 없이도 적용 가능합니다.