연구진은 LLM의 파라미터 효율적인 미세 조정(PEFT) 시 구조적 병목 현상으로 인한 문제점을 해결하기 위해 Localized LoRA-MoE 프레임워크를 제안했어요.
Block-Wise LoRA-MoE는 단일 컨텍스트 신호로 전체 구조 그리드를 조절하고, Cell-Wise LoRA-MoE는 각 좌표 셀에 자율적인 전문가 게이팅 기능을 부여해요.
실험 결과, Cell-Wise LoRA-MoE는 전역 조정자와 통계적 동등성을 달성하며, 오류 전파로 인한 손상으로부터 생존 경로를 보호하는 ‘그라디언트 방화벽’ 역할을 수행하는 것으로 나타났어요.