연구진은 LLM의 중간 은닉 상태를 수정하여 행동을 제어하는 방법인 활성화 조향(activation steering)의 한계를 분석했어요.
다중 의미를 중첩할 때 모델이 붕괴되는 원인은 분포 편차(distributional deviation)와 방향 간섭(directional interference)으로 밝혀졌어요.
GEMS는 이러한 문제를 해결하기 위해 기하학적 제약을 활용하는 방법으로, 3B~31B 모델에서 효과적인 성능을 보였고, GSM8K에서 정확도를 98% 유지했어요.
GEMS는 분포 편차에 대해 정규화 보존 가중치 중첩과 타겟 어텐션 경로 주입, 방향 간섭에 대해 실시간 직교화를 적용하여 다중 의미 중첩 문제를 해결했어요.