Reddit 사용자가 RTX 3090과 Arc A770을 결합한 멀티 GPU 환경을 구축했어요. Vulkan 백엔드 사용 시 CUDA 대비 메모리 오버헤드가 심각하여 성능이 저하돼요. AMD/Intel/NVIDIA 단일 벤더 환경에서 자체 백엔드 사용하는 것이 효율적이에요.
Qwen 3.6 27B 모델을 CUDA 환경에서 30 토큰/초로 실행할 수 있었지만, Vulkan 환경에서는 3 토큰/초로 떨어졌어요. Vulkan은 llama.cpp 멀티 GPU 환경에 적합하지 않아요.
RTX 3090 카드당 5GB의 추가 메모리 오버헤드가 발생하여 컨텍스트 길이에 제약이 있었어요. GPU 벤더를 통일하고 해당 벤더의 백엔드를 사용하는 것이 최적의 선택이에요.