사용자가 Qwen3.5-122B-Q5-MTP 및 Qwen3.5-122B-Q6-MTP 모델의 llama.cpp 서버 성능 테스트 결과를 공유했어요. 두 모델 모두 1000 토큰 프롬프트 평가를 진행했으며, Q5 모델이 Q6 모델보다 약간 더 빠른 속도를 보였어요. 테스트 결과는 Reddit에 게시되었으며, 다른 사용자들이 댓글을 통해 의견을 공유하고 있어요.
Qwen3.5-122B-Q5-MTP 모델은 약 20.24 토큰/초의 처리 속도를, Qwen3.5-122B-Q6-MTP 모델은 약 17.17 토큰/초의 처리 속도를 기록했어요. 프롬프트 평가 시간은 각각 408.99ms와 488.39ms였으며, 전체 평가 시간은 각각 408.99ms와 191156.72ms였어요.
llama.cpp 서버를 사용하여 MTP (Mixture of Experts) 모델을 실행하는 방법을 보여주는 테스트 결과로, 모델 성능 최적화에 관심 있는 사용자들에게 유용한 정보를 제공하고 있어요. Reddit 사용자들이 이 결과를 통해 Qwen 모델의 성능을 비교하고 개선 방안을 논의할 수 있을 것으로 예상돼요.