연구진은 대규모 언어 모델(LLM) 컴파일을 위한 MLIR 기반 방법론을 제시했어요. TopOp와 TpuOp라는 두 가지 MLIR 다이얼랫폼을 활용해 모델 의미를 표현하고 하드웨어 관련 결정을 내립니다.
Transformer 레이어를 prefill, prefill_kv, decode 세 단계로 분리하여 프롬프트 병렬 처리와 토큰별 생성의 다양한 연산 특성을 수용합니다.
TPU-MLIR 컴파일러와 LLM-TPU 배포 프로젝트에 구현되어 Qwen, Llama, InternVL, MiniCPM-V 시리즈 등 다양한 생성 모델과 GPTQ, AWQ, AutoRound 등 다양한 양자화 및 배포 방식을 지원합니다.