연구진은 언어 모델 표현에서 연속적인 특징에 대한 인과적 개입 방법을 제시했어요. 이 방법은 활성화 벡터와 등급형 대상 변수를 결합하여 해당 변수에 대한 저차원 방향을 찾아 반사실적 대상 값으로 벡터를 편집하는 방식이에요. 연구 결과, 동사 편향과 같은 연속적인 특징이 스티어링 벡터에 인과적으로 표현되며, 이를 수정하여 하위 구조적 선호도를 변화시킬 수 있었어요.
동사 편향은 문맥 내 학습과 관련이 있는데, 연구진은 스티어링 벡터가 오류 기반 업데이트 행동을 유도할 수 있는 오류 신호를 인코딩하지만, 이러한 측면은 하위 생산에 인과적으로 사용되지 않는다는 사실을 발견했어요. 연구는 연속 변수에 대한 인과적 개입이 가능하다는 것을 보여주지만, 연속 변수를 문맥 내 학습과 연결하는 것은 여전히 과제임을 시사합니다.