연구진은 신경망 표현의 기하학적 구조가 행동에 미치는 영향을 조사했습니다. 활성화 공간의 기하학적 구조를 따르는 개입은 자연스러운 행동과 유사한 결과를 낳으며, 선형 개입은 비정상적인 출력을 유발합니다. 언어 모델과 비디오 세계 모델에서 다양한 기하학적 구조를 가진 작업들을 통해 이러한 관계를 입증했습니다.
연구 결과, 신경망 표현의 기하학적 구조는 우연적인 것이 아니라, 내부 개입을 통한 원칙적인 제어를 가능하게 하는 핵심 요소임이 드러났습니다. 이는 조향 문제를 올바른 방향을 찾는 것에서 올바른 기하학을 찾는 것으로 재정의합니다.
연구는 활성화 공간의 기하학적 구조를 따르는 경로를 따라 조종하는 것이 행동 경로를 유도하며, 이는 출력 확률 분포의 기하학적 구조를 따르는 것을 보여줍니다.