본 연구는 MoE 기반 LLM이 noisy CIM 환경에서 성능 저하를 겪는 원인을 분석하고, 이를 해결하기 위한 ROMER 프레임워크를 제안합니다.
ROMER는 underactivated 전문가를 high-frequency 전문가로 대체하고 라우터 로짓을 재보정하여 전문가 로드 밸런스를 복원하고 라우팅을 안정화합니다.
DeepSeek-MoE, Qwen-MoE, OLMoE 모델에서 실제 칩 노이즈 조건 하에서 perplexity를 각각 최대 58.6%, 58.8%, 59.8% 감소시키는 효과를 입증했습니다.