연구진은 모델 압축을 위해 자체 생성 학습 데이터를 활용하는 'Requential 코딩' 기법을 소개했어요. 이 기법은 모델이 학습 데이터의 규칙성을 파악하여 일반화 능력을 향상시키는 것을 목표로 합니다.
Requential 코딩은 교사 모델이 학생 모델의 분포에서 샘플링한 학습 데이터를 선택하고, 학생 모델은 이 선택을 기록하여 불필요한 데이터 압축을 줄여 코드 길이를 단축해요.
이 기법은 모델 크기나 데이터 엔트로피에 영향을 받지 않으며, 기존 압축 방식보다 훨씬 짧은 코드를 생성하고, 대규모 LLM의 일반화 보장을 개선하는 등 긍정적인 효과를 보여줘요.