사용자가 Qwen3.5/3.6 모델의 토큰 생성 속도를 높이기 위해 MTP 전용 GGUF 서브셋을 공개했어요. 이 서브셋은 기존 GGUF 파일에 MTP 텐서를 쉽게 임베딩하는 방법을 보여주기 위해 제작됐어요. Ornith-1.0-35B 모델의 퀀트 파일에 MTP 텐서가 포함된 것을 확인하고, Qwen3.5/3.6 기반 파인튜닝 실험을 돕고자 공개됐습니다.
MTP 전용 서브셋은 별도의 모델 파일과 텐서 이식용 파일로 이중 활용이 가능하며, llama.cpp의 --model-draft 기능을 지원해요. 작은 크기의 서브셋은 텐서 이식용으로만 사용 가능하며, 별도의 모델 파일로 활용할 수 없어요. Qwen3.5/3.6 기반 파인튜닝 실험을 용이하게 하기 위해 공개됐습니다.
이 서브셋은 trohrbaugh/Qwen3.5-122B-A10B-heretic 모델의 토큰 생성 속도를 높이기 위해 처음 제작됐지만, Ornith-1.0-35B 모델의 퀀트 파일에 MTP 텐서가 포함된 것을 확인하면서 공개를 결정했습니다.