연구진이 언어 모델의 오정렬(Emergent Misalignment, EM) 현상을 보고했어요. 특정 데이터셋으로 미세 조정 시 광범위한 오정렬 행동이 나타나고, 제한적인 재정렬로 되돌릴 수 있다는 증거도 있었죠.
연구 결과, 오정렬과 재정렬 모두 데이터셋의 피상적인 특징에 민감하게 반응하며, 응답 길이 차이를 제어하면 급격한 재정렬이 사라지는 것을 확인했어요.
기존에 보고된 메커니즘적 특징(LoRA 공간의 표현상 위상 변화)이 훈련 과정에서 일관되게 행동적 오정렬과 연관되지 않는다는 사실도 밝혀냈습니다.