아랍어 NLP의 주요 과제는 방언 데이터 부족으로 LLM이 MSA를 과도하게 생성하고 방언에 맞는 생성을 어려워하는 것입니다.
연구팀은 뉴런 수준 분석을 통해 방언별 특징을 인코딩하는 희소 뉴런 집단을 확인하고, 이 뉴런을 증폭하거나 억제하여 모델 출력을 특정 방언으로 조종할 수 있음을 보였습니다.
벡터 조향 기법을 통해 방언별 활성화 방향을 추출하여 추론 과정에 주입하는 방식으로, 방언 지식의 기하학적 구조를 밝히고 방언별 튜닝 없이 제어하는 프레임워크를 제시합니다.