DeInfer는 분해된 LLM의 병렬 추론 성능 문제를 해결하기 위해 개발된 시스템입니다. 기존 연구들은 LLM 분해의 성능 향상에 집중했지만, 모델 크기 확장에 따른 병렬 추론 성능 저하를 간과했어요. DeInfer는 다양한 최적화를 통해 성능을 극대화하고 최신 최적화 기술과의 호환성을 유지하며, 실험 결과 뛰어난 성능을 입증했습니다.