ExaGEMM은 CPU 기반 저비트 GEMM을 위한 코드 설계 및 탐색 프레임워크입니다. 기존 SIMD 데이터 경로를 활용하여 레지스터 내 LUT 실행을 통해 성능을 향상시킵니다. ExaGEMM은 분석 모델을 사용하여 후보 공간을 99.2%까지 줄이고, 최적의 지원 포인트를 식별하여 ISA 사양 및 GEMM 커널을 생성합니다.
대표적인 ML 모델과 CPU 타겟에서 ExaGEMM은 소프트웨어 기반 기준선 대비 최대 13.29배 빠른 지연 시간을 달성했습니다. 특히 혼합 정밀 LLM 워크로드에서 워크로드 기반 최적화가 중요함을 보여줍니다.
ExaGEMM은 레지스터 가능성, 컴퓨팅 비용, 메모리 트래픽, 하드웨어 오버헤드를 분석적으로 모델링하여 커널과 SIMD ISA 지원을 공동으로 탐색합니다.