eramax 사용자가 GLM-5.2 MoE 모델을 RTX 3090에서 구동하기 위해 79개의 실험을 통해 모델 압축 방법을 연구했어요. 연구 결과, 게이트와 업(up)은 공유할 수 있지만 다운(down)은 그렇지 않다는 것을 발견했어요.
압축 결과, 75개의 MoE 레이어가 평균 1.37MiB로 압축되었고, 오프라인 코사인 유사도(cosine similarity)는 0.959, 정규화 비율(norm ratio)은 0.972를 기록했어요. 이는 원본 모델의 수백 GB에 비해 상당한 감소입니다.
하지만 현재는 완전한 플래시(flash) 방식의 생성(generation)이 제대로 작동하지 않아, 추적 데이터(trace dumps)와 실제 생성 품질을 주요 지표로 개선해야 할 과제가 남아있어요. 연구 결과는 GitHub에서 MIT 라이선스로 공개됐습니다.