연구진은 언어 모델 정렬 과정을 열역학적 상전이 이론으로 분석하는 새로운 접근법을 제시했어요. 무작위 숫자 생성과 같은 작업에서 사전 학습 모델은 액체 상태에서 미세 조정 단계로, 이후 강화 학습을 통해 분포가 재분배되는 결정화 과정을 거쳐요. 연구진은 이러한 상전이 단계를 검증할 수 있는 지표를 제안하고 다양한 무작위 작업에서 그 유효성을 확인했어요.
기존의 정렬 연구는 주로 성능 벤치마크에 집중했지만, 모델의 변화 과정을 이해하는 데는 한계가 있었어요. 이번 연구는 물리 과학, 특히 열역학적 상전이 이론을 활용하여 정렬 역학을 설명하는 새로운 관점을 제시했어요.
연구진은 결정화라는 현상을 예시로 들어 정렬 연구가 물리적 프레임워크를 적극적으로 도입하여 구조의 기원, 수렴 지점, 근본적인 변화 불가능성을 파악해야 한다고 주장해요.