mrstoatey 사용자가 Krasis 런타임을 활용해 397B 파라미터 모델 Ornith-397B를 단일 RTX PRO 6000 Blackwell GPU에서 실행하는 데 성공했어요.
96GB VRAM에 모델 전체가 들어가지 않아 일부 Expert는 CPU RAM에 상주하며 동적으로 관리되며, 최대 202GB의 프로세스 RAM 사용량을 보였어요.
Krasis Adaptive Cold Mass Pruning을 통해 250 토큰 기준 20.40 tok/s의 지속적인 디코딩 속도를 기록했으며, 더 작은 MoE 모델은 5090에서 더 빠른 속도로 실행돼요.