본 연구는 Nvidia와 Apple Silicon 생태계를 분석하여 70B 파라미터 이상의 대규모 LLM을 소비자 하드웨어에 배포하는 데 필요한 시스템 과제를 제시합니다.
Nvidia Blackwell 아키텍처에서는 TensorRT-LLM 스택 내에서 NVFP4 양자화 형식이 BF16 기반 대비 1.6배의 처리량 이점을 제공하지만, 이는 시작 지연 시간을 감수하는 복잡한 런타임 제약 조건이 필요합니다.
Apple의 통합 메모리 아키텍처(UMA)는 이러한 병목 현상을 우회하여 80B 파라미터 모델을 실용적인 4비트 정밀도로 선형적으로 확장할 수 있으며, 에너지 효율성 측면에서 최대 23배의 이점을 보입니다.