연구진은 기존 LLM 강화 학습(RL) 방식이 모든 레이어를 균등하게 업데이트하는 데 초점을 맞춘 것을 지적했어요.
놀랍게도 단일 트랜스포머 레이어 학습만으로도 전체 파라미터 RL 학습만큼의 성능 향상을 회복하거나 심지어 능가하는 결과가 나타났어요.
연구진은 '레이어 기여도'라는 지표를 도입하여 단일 레이어 학습으로 회복된 전체 RL 성능 향상 비율을 측정했어요.
7개의 모델을 대상으로 실험한 결과, RL 성능 향상이 트랜스포머 스택의 중간 레이어에 집중되는 패턴이 일관되게 나타났어요.