사용자가 R9700 AI PRO와 7800XT 듀얼 GPU 환경에서 llama-cpp 서버를 구축했어요. Vulkan을 통해 48GB의 VRAM을 활용할 수 있게 되었어요. 새로운 파워 서플라이 구매 비용이 들었지만, 7800XT 재활용 측면에서 가치 있다고 판단했어요.
ROCm은 RDNA4와 RDNA3 혼합 환경에서 문제가 발생하여 Vulkan으로 전환했어요. Vulkan 환경에서 빠른 프롬프트를 테스트했고, 안정성 검증 후 48GB VRAM 활용 가능성을 기대하고 있어요.
Kubuntu 24.04 환경에서 Docker를 사용해 스택을 구축했고, 이미지 생성에 Vulkan을 사용했어요.