PolyQ는 엣지 CPU에서 LLM 추론을 위한 컴파일러/양자화 공동 설계 프레임워크입니다. 활동 인식 채널별 비트 할당을 통해 평균 비트 예산 내에서 작동하며, Falcon-H1-3B, Llama2-13B, Qwen3-32B 모델에서 3~6b까지 안정적인 품질 확장 제공합니다. PolyQ는 컴파일러 레이아웃 정규화를 통해 활성화 재정렬 트래픽을 최대 70.8% 줄이고, 에너지/토큰 오버헤드를 2% 미만으로 유지합니다.
PolyQ는 채널별 비트 너비를 {2,3,4,8,16}에서 할당하고, 컴파일 타임 모델 컴파일러를 사용하여 채널을 비트 동종 블록으로 순열하고 클러스터링합니다. SIMD 및 LUT 호환 커널을 생성하고, 연산자 간 호환 가능한 순열을 병합하여 런타임 경로에서 레이아웃 정규화를 유지합니다.
워크스테이션, 노트북, 모바일 등 다양한 엣지 환경에서 예측 가능하고 에너지 효율적인 분수 비트 CPU 배포가 가능하다는 것을 입증했습니다.