LLM 생성 과정에서 모드 붕괴는 반복적인 오류, 다양성 감소, 조기 수렴 등 다양한 문제를 야기합니다. 본 연구에서는 모드 붕괴를 모델 내부 경로가 표현 공간의 저차원 영역으로 좁혀지는 '기하학적 붕괴'로 재해석합니다.
기하학적 붕괴 현상을 해결하기 위해 '강화된 모드 규제(RMR)' 기법을 제안합니다. RMR은 Transformer value cache의 지배적인 자기 강화 방향을 조절하는 온라인 상태 공간 개입 방식입니다.
RMR은 다양한 LLM에서 모드 붕괴를 크게 줄이고, 0.8 nats/step까지 매우 낮은 엔트로피에서도 안정적인 고품질 생성을 가능하게 합니다. 기존 디코딩 방식은 보통 2.0 nats/step 부근에서 붕괴하는 경향이 있습니다.