유저가 폐기된 엔비디아 기업용 GPU의 활용 가능성을 테스트하기 위해 벤치마크 도구를 개발했어요. P100은 75달러, V100은 200달러 이하로 저렴하게 구할 수 있어요. V100은 T40과 비슷한 성능을 보여주며 가성비가 뛰어나다는 결과가 나왔어요.
LLM 실행 시 P40이 P100보다 성능이 우수하며, 오디오 트랜스크립션 작업에서는 M60이 V100보다 뛰어난 성능을 보여줬어요. M60은 50달러에 구매 가능해요.
GPU를 여러 개 사용할 때 성능은 선형적으로 증가하며, GPU 세대별로 속도 차이가 발생하면 LLM 설정에서 병목 현상이 발생할 수 있어요. CPU는 빠른 단일 코어 속도가 도움이 되지만, 저렴한 X99 보드와 Xeon으로도 충분해요.
자세한 내용은 블로그에서 확인할 수 있으며, 추가 벤치마크 요청을 받고 있어요.