DeepSeek가 H200 GPU에서 DSpark를 활용한 DeepSeek V4 Flash 모델을 공개했어요. 기존 EAGLE 방식 대비 3.2배 빠른 속도를 보여줬어요.
DSpark는 배치 크기 24에서 처리량은 46% 향상되지만, 수용률이 감소하는 한계가 있어요. 하지만 EAGLE 대비 더 많은 토큰을 처리할 수 있어 효율적이에요.
벤치마크 결과, TTFT 평균 응답 시간에서 Flashinfer가 Marlin보다 우수한 성능을 보였으며, 특히 20K 입력에서 큰 차이를 나타냈어요. 자세한 내용은 GitHub에서 확인 가능해요.