연구진은 학습된 행동이 선형 방향으로 제어될 수 있다는 기존 연구를 바탕으로, 실제로 존재하는 선형 구조와 그 규모를 분석했어요. 합성 멀티태스크 트랜스포머와 DistilGPT-2/GPT-2 LoRA 어댑터를 통해 국소 저랭크 작업-기울기 구조가 강하게 존재하지만, 고정된 작업 평면 가설은 틀렸음을 확인했어요. 첫 번째 회복 업데이트는 LoRA 회복 변위의 77%를 포착하는 경로-접두사 기반을 형성했어요.
연구진은 가우시안 국소-선형 정리를 통해 매우 높은 차원에서도 무작위 파라미터 검색의 효과를 정당화하는 무작위 검색 이론을 개발했어요. 또한 파라미터 변화와 활성화 조종 간의 관계를 연구하여, 단일 기울기 단계가 레이블된 대비 CAA 조종 벡터와 0.58의 코사인 유사도를 갖는 활성화 변화를 생성한다는 사실을 발견했어요.
연구 결과는 학습된 네트워크의 선형 구조가 글로벌 작업 방향이 아니라, 파라미터와 활성화 공간에 부분적으로 지속되는 진화하는 국소 기하학적 구조라는 것을 시사해요.