연구진은 MoE LLM 추론 시 핫 전문가 편향으로 인한 3.5D 멀티 칩렛 시스템의 통신, 메모리 병목 현상을 완화하는 HCRMap 프레임워크를 제안했어요.
HCRMap은 전문가 핫도스, 가중치 로딩 비용, 마이그레이션 오버헤드, 런타임 리소스 압력 등을 기반으로 전문가 레플리카를 동적으로 관리하고 토큰을 적절한 레지던트 레플리카에 매핑해요.
실험 결과 HCRMap은 Hydra 대비 프리필 및 디코딩 단계에서 최대 46.7%의 엔드투엔드 지연 시간 감소 효과를 보였어요.