연구진은 임베딩 파라미터 스케일링의 효율성을 높이기 위해 데이터 기반 X-GRAM 추출 프레임워크를 제안했어요. X-GRAM은 하이브리드 해싱과 alias mixing을 활용하여 임베딩 테이블의 효율성을 개선하고, SwiGLU ShortConv를 통해 다양한 로컬 n-gram 특징을 추출해요. 0.73B 및 1.15B 규모의 실험 결과, X-GRAM은 기존 모델 대비 평균 정확도를 4.4점 향상시켰으며, 메모리 사용량도 줄였어요.