연구진은 LLM의 2비트 양자화 학습 성능을 높이는 LC-QAT라는 새로운 프레임워크를 제안했어요. LC-QAT는 벡터 양자화(VQ)를 활용해 기존 양자화 학습 방식보다 높은 표현력을 제공하며, 학습 과정에서 코드북 검색 없이도 완전하게 미분 가능한 학습이 가능해요. 다양한 LLM 실험 결과, LC-QAT는 기존 방식 대비 우수한 성능을 보였으며, 학습 데이터는 0.1%에서 10% 수준으로 줄일 수 있었어요.