AMD 7900xtx와 7800x3d를 사용하는 사용자가 로컬 AI 추론 환경 구축에 어려움을 겪고 있어요. 더 큰 모델을 사용하기 위해 Intel Arc B70 또는 중고 A6000 eGPU 도입을 고려 중입니다. eGPU를 사용하면 초기 로딩 속도가 느려지는 단점이 있지만, 추론 속도에 미치는 영향에 대한 의문이 제기되고 있어요.
eGPU를 사용한 멀티 GPU 환경에서 카드 간 통신 속도 저하로 인해 대규모 모델 실행에 제약이 있을 수 있습니다. 현재 eGPU가 로컬 AI 추론에 더 널리 사용되지 않는 이유에 대한 질문이 제기됐습니다.
사용자는 로컬 AI 추론 환경에서 모델 안정성 문제를 겪고 있으며, 더 큰 모델을 실행하기 위해 eGPU 도입을 고려하고 있습니다.