사용자가 AMD R9700 GPU에서 Qwen3.6-27B 모델을 위한 Q8_0_ROCMFPX 튜닝을 완료했어요. HumanEval 점수는 기존 Q8_0과 동률을 기록했어요. 풀 모델 디코딩 속도는 5.77~5.87% 향상됐고, 엔드투엔드 에이전트 처리 시간은 2.21% 더 빨라졌어요. ROCmFPX 포크를 사용해야 하며, gfx1201 GPU에서만 작동해요.
튜닝된 모델은 Hugging Face에 공개됐으며, 모델 크기는 기존 Q8_0보다 2.94% 더 작아요. 업스트림 llama.cpp, Ollama, LM Studio, vLLM에서는 실행되지 않으며, ROCmFPX 포크를 통해 빌드해야 해요. 다른 사용자들의 벤치마크 검증을 요청했어요.
gfx1201 GPU를 사용하고 있으며, ROCmFPX 포크를 통해 빌드하는 사용자라면 시도해 볼 수 있어요. 더 많은 사용자의 벤치마크 결과를 확인하고 싶어요.