연구진은 LLM을 소규모 데이터셋에 거의 0에 가까운 손실로 미세 조정할 때, 오히려 개방형 생성 품질을 향상시키고 탐욕적 디코딩에서의 반복을 완화하는 '하이퍼피팅' 현상을 발견했어요.
하이퍼피팅은 단순한 온도 스케일링과 다르며, 엔트로피 매칭 제어 실험을 통해 온도 스케일링이 하이퍼피팅의 다양성 향상 효과를 재현하지 못하는 것을 입증했어요.
연구 결과, 하이퍼피팅은 최종 트랜스포머 블록에서 발생하는 '최종 확장'에 의해 촉진되며, 이 과정에서 특징 공간이 기하학적으로 확장되어 꼬리 부분 토큰을 활성화하는 것으로 나타났어요.