사용자가 Qwen3.6 35B 모델을 CPU/GPU 오프로드 방식으로 실행하며, MTP 헤드를 활용하여 다음 토큰에 사용될 MoE 전문가를 예측하여 PCIe 지연 시간을 숨기는 방식을 실험했어요.
실험 결과, MTP 기반 예측을 사용했을 때 전문가 예측 정확도가 78%로 향상되었고, 이론적으로 최대 200토큰/초의 속도를 낼 수 있는 가능성을 확인했어요. 이는 현재 36토큰/초보다 훨씬 빠른 속도예요.
연구자는 이 아이디어가 실제로 구현 가능한지, 기존 추론 엔진에 적용할 만한 가치가 있는지 의견을 구하며, 관련 데이터 분석 스크립트를 공유할 의향이 있다고 밝혔어요.