텐센트가 공개한 HY3 모델이 295B 파라미터 규모에도 불구하고 128GB 환경에서 DeepSeek v4 Flash 모델보다 뛰어난 성능을 보여주고 있어요.
사용자는 UD128 양자화 모델을 활용해 llama.cpp 환경에서 HY3 모델을 실행했으며, 기존 모델 대비 토큰 생성 속도가 두 배 이상 향상됐다고 보고했어요.
M5 Max 환경에서 llama-bench 테스트 결과, HY3 모델은 528 토큰/초의 프리필 속도와 32.4 토큰/초의 디코딩 속도를 기록했으며, 16K 컨텍스트에서는 각각 124 토큰/초, 16.3 토큰/초를 보였어요.
HY3 모델은 ML 연구 및 HF MCP/CLI 도구 활용에 유용하며, 향후 복잡한 에이전트 작업 및 코딩 테스트를 통해 더 자세한 성능 평가가 이루어질 예정이에요.
사용자는 HY3 모델의 잠재력에 대한 기대감을 표하며, 다른 사용자들의 경험 공유 및 다양한 양자화/MLX 성능 비교를 독려했어요.