연구자가 CPU 네이티브 LLM 개발을 위해 30M 파라미터 규모의 파일럿 테스트를 Kaggle T4에서 진행했어요. 5개의 게이트 테스트 중 4개는 통과했지만, 다른 토크나이저 간의 지식 증류는 실패했어요. Mixture-of-Experts (MoE) 업사이클은 성능 향상에 기여하지 못하는 문제점을 발견했고, 추가 조사가 필요해요.