사용자가 4개의 RTX 5060TI 16GB 기반 시스템 구축을 완료했어요. MSI MEG Z890 Unify-X 보드를 사용해 PCIe 5.0 x4 레인을 활용했어요. GPU 메모리 오버클럭을 통해 +6000MTs까지 속도를 끌어올렸어요. Qwen 3.6 27B 모델을 vllm 또는 llama.cpp로 테스트할 계획이에요.
두 개의 M.2 포트를 PCIe 5.0 x4 CPU 레인으로 구성하여 데이터 전송 속도를 높였어요. PCIe 5.0은 4.0 x8과 동등한 속도를 제공하며, 이는 메모리 대역폭을 향상시키는 데 도움이 돼요. GPU 메모리 오버클럭을 통해 +6000MTs까지 속도를 끌어올렸어요.
nvidia 드라이버와 aikitoria/open-gpu-kernel-modules를 설치하여 P2P 지원을 활성화하고, 기본적인 벤치마크 테스트를 진행할 예정이에요. 현재는 소프트웨어 설정이 완료되지 않아 벤치마크는 아직 진행하지 않았어요.
사용자는 Qwen 3.6 27B 모델을 Q8 또는 INT8 vllm으로 실행하여 빠른 속도를 목표로 하고 있으며, 관련 팁이나 설정, 벤치마크 제안을 구하고 있어요.