연구진은 언어 모델의 선호도 최적화 과정에서 발생하는 '압착 효과'(squeezing effect)를 해결하기 위해 Gradient-Gated Preference Optimization (Gate-DPO)라는 새로운 방법을 제시했습니다.
Gate-DPO는 모델의 확률 분포를 고려하여 거부된 응답에 대한 기울기를 조절하여, 기존 DPO 방식의 문제점을 개선하고 선택된 응답의 가능성을 높입니다.
실험 결과, Gate-DPO는 다양한 모델 구조와 데이터셋에서 압착 효과를 줄이고, 더 작은 모델로도 더 강력한 성능 향상을 달성하는 것을 확인했습니다.