연구진이 MoE(Mixture of Experts) 언어 모델에서 사실적 기억을 추적하는 방법인 '전문가 인식 인과 추적'을 개발했어요. Qwen3-30B 모델 분석 결과, 특정 전문가(L44E069)가 반복적으로 선택되어 중요한 역할을 수행하는 것으로 나타났어요.
Mixtral-8x7B 모델에서는 사실적 기억 신호가 특정 전문가에 국한되지 않고, 여러 전문가의 협력적인 업데이트를 통해 복구되는 것으로 확인돼요. 이는 MoE 모델의 사실적 기억 추적이 모델과 방식에 따라 달라질 수 있음을 시사해요.
연구 결과는 MoE 모델의 사실적 기억 추적을 전문가 관점에서 분석할 수 있으며, 전문가 수준의 국소화가 모델에 따라 달라질 수 있다는 점을 보여줘요.