Xiaomi가 MiMo-V2.5-DFlash 모델의 DFlash 가속 모델을 Hugging Face에 공개했어요. 이 모델은 300B 이상의 파라미터를 가지고 있으며, 24GB 카드 2개에서 8~10 tk/s 속도를 낼 수 있어요. DFlash 가속을 통해 속도를 두 배로 늘릴 수 있을 것으로 기대돼요.
기존 MTP 헤드 모델과 호환되지 않는 문제에 대한 해결책으로, 별도의 MTP 모델을 공유하며 Llama C++ 에서의 활용 가능성을 제시했어요. DFlash 가속 모델은 MTP 레이어 식별 문제를 해결할 수 있을 것으로 보입니다.
MiMo-V2.5-DFlash 모델은 뛰어난 성능을 보여주고 있으며, DFlash 가속을 통해 더욱 빠른 추론 속도를 제공할 수 있을 것으로 기대돼요.