EMO는 메모리 제약 환경에서 활용 가능한 모듈형 전문가 혼합(MoE) 모델로, 문서 경계를 통해 전문가 그룹이 자연스럽게 형성되도록 설계되었습니다. EMO는 전체 모델 성능과 맞먹는 성능을 유지하면서도, 25% 또는 12.5%의 전문가만 남겨도 성능 저하가 미미한 수준입니다. 기존 MoE와 달리 EMO는 수학, 코딩 등 의미 수준에서 전문가가 특화되어 나타나는 현상을 보입니다.