연구진은 언어 모델의 내부 표현에 지침을 추가하여 행동을 제어하는 활성화 제어 방식의 문제점을 분석했습니다.
특히, 상태가 있는 대화에서 잔차 스트림 제어가 실패하는 주요 원인으로 KV 캐시 오염을 지목하고, 이를 해결하기 위해 GCAD(Gated Cropped Attention-Delta steering)를 제안했습니다.
GCAD는 시스템 프롬프트 기여로부터 제어 신호를 추출하여 토큰 레벨 게이팅을 적용하여, 다중 턴 벤치마크에서 일관성 향상과 특성 표현 개선을 달성했습니다.