Reddit 사용자가 Llama.cpp RPC 테스트를 통해 여러 PC의 GPU 활용 가능성을 분석했습니다. 테스트는 Linux Mint, Windows 11, WSL 환경에서 진행되었으며, 2.5GbE 및 1GbE 연결을 사용했습니다.
주요 PC는 120GB VRAM을, 2번째 PC는 5070 및 3080 GPU를, 3번째 PC는 5060ti 16GB GPU를 사용했습니다. Windows 환경에서는 일부 문제 발생, Linux 환경에서 더 나은 성능을 보였습니다.
RPC는 작은 컨텍스트에서 활용 가능하며, Linux 환경에서 더 우수한 성능을 나타냈습니다. 향후 5060ti를 2번째 PC에 추가하여 더 큰 컨텍스트에서의 확장 가능성을 테스트할 예정입니다.