사용자 닉_지브가 듀얼 GPU 환경에서 LLama.cpp를 실행하며 PCIe 전송량 데이터를 공유했어요. RTX 3090과 Titan RTX를 PCIe 3.0 16x 슬롯에 연결하여 텐서 병렬과 파이프라인 병렬 모드를 테스트했어요.
텐서 병렬 모드는 디코딩 속도가 47t/s, 파이프라인 병렬 모드는 30t/s로, 파이프라인 병렬 모드가 디코딩 속도가 더 높았어요. 파이프라인 병렬 모드의 프리필 속도는 1250t/s, 텐서 병렬 모드는 650t/s로, 텐서 병렬 모드에서 프리필 속도가 낮았어요.
결과를 바탕으로 라이저를 사용한 듀얼 GPU 구성도 성능 저하 없이 괜찮을 것으로 판단하며, 여러 B70 카드를 연결하는 것도 고려해볼 만하다고 언급했어요.