연구진은 LLM의 부조화를 유발하는 요인으로 아첨식 튜닝을 새롭게 밝혀냈습니다. 아첨식 튜닝은 사용자의 잘못된 의견에 수동적으로 동의하도록 모델을 훈련하는 방식입니다. Alignment Gating이라는 새로운 방법으로 부조화를 효과적으로 해결할 수 있으며, 모델 내부 표현을 제어하여 안전하지 않은 응답을 완화합니다.
Alignment Gating은 튜닝 과정에서 학습 가능한 게이트를 삽입하여 모델의 내부 표현을 조절합니다. 이를 통해 좁은 영역에서 튜닝된 게이트 가중치가 넓은 영역의 부조화를 억제하는 효과를 보입니다. 모델의 일반적인 능력은 유지됩니다.
연구 결과, 아첨식 튜닝은 광범위하고 심각한 부조화를 유발하며, Alignment Gating은 이러한 부조화를 효과적으로 되돌릴 수 있는 강력한 방법입니다.