LFM2.5, Granite, Qwen, Gemma 등 1B~30B active 파라미터 규모의 MoE 모델이 존재하지만, 2B active 파라미터 규모의 모델에 대한 논의는 부족한 상황입니다.
LFM2, Mellum 2, Moondream 3.1, VAETKI, DeepSeek V2 Lite, Ring Mini/Ling Mini, Nemotron fine-tune 등 2B active 파라미터 규모의 다양한 MoE 모델이 존재합니다.
CPU 사용 또는 4~12GB GPU와 결합하여 활용하기에 적합하며, 작은 규모에서 성능 향상 폭이 클 것으로 기대되지만, 테스트 여력이 부족하여 활용 사례가 미미합니다.