Ubuntu apt 저장소의 CUDA 툴킷 버전이 오래되어 연산 문제를 겪는 사용자가 있었습니다. 최신 CUDA 툴킷을 NVIDIA 웹사이트에서 다운로드하여 llama.cpp를 재빌드하고, 자유 오픈 소스 드라이버를 사용함으로써 문제를 해결했습니다. 두 개의 다른 세대 GPU를 함께 사용하여 큰 모델을 실행할 때 성능이 향상되었습니다.
NVIDIA 웹사이트에서 CUDA Debian 패키지를 다운로드하여 설치하고 llama.cpp를 재빌드하는 방법은 다른 곳에서 찾기 어려웠습니다. 자유 오픈 소스 드라이버를 사용하는 것이 연산에 더 적합합니다.
5060 Ti GPU의 연산 속도가 86으로 제한되었으나, 최신 CUDA 툴킷 설치 후 120으로 향상되었습니다.