연구진이 Transformer 모델의 미세 조정을 위한 가벼운 프레임워크인 Mixture-of-Control (MoC)을 소개했어요. MoC은 블록 간 정보 교환을 효율적으로 처리하며, 로컬 및 글로벌 제어 신호를 적응적으로 통합해 표현 학습을 향상시킵니다. 실험 결과, MoC은 기존 상태 기반 방법보다 뛰어난 성능을 보였어요.
MoC은 블록별 제어 상태를 희소 혼합 전문가 프로세스의 전문가로 취급하여 Transformer 블록 간 효율적인 통신을 가능하게 합니다. MoC은 메모리와 계산 효율성을 유지하면서 기존 상태 기반 방법보다 우수한 성능을 보여줬어요.
다양한 Transformer 기반 벤치마크에서 MoC은 기존 방법보다 성능이 뛰어나며, 메모리 및 계산 효율성도 비슷합니다.