Codex가 DeepSeek V4 Flash 8-bit MLX 모델을 oMLX에서 최적화하여 prefill 속도는 약 1.6배, decode 속도는 3배 향상시켰어요.
최적화 과정에서 native DeepSeek affine MoE kernel을 활성화하고 route sort 방식을 개선하는 등 다양한 변경 사항이 적용됐어요.
현재 Mac Studio M3 Ultra 512GB 환경에서 prefill은 약 533 tok/s, decode는 약 20 tok/s의 성능을 보여주고 있으며, 사용자는 추가적인 정확도 검증 및 최적화 방향에 대한 의견을 구하고 있어요.
Codex는 가중치 변경 없이 최적화했기 때문에 정확도 저하가 없을 것으로 예상하지만, 커뮤니티의 검증을 요청하고 있으며, 더 나은 성능을 위한 추가적인 튜닝 방향을 모색 중이에요.
현재까지의 결과와 다음 최적화 방향에 대한 의견을 공유하며 커뮤니티의 도움을 요청하고 있어요.