ai2에서 EMO라는 새로운 MoE 모델을 공개했습니다. 이 모델은 1조 토큰으로 학습되었으며, 140억 개의 파라미터 중 10억 개가 활성화되어 있습니다. EMO는 문서 수준 라우팅을 특징으로 하며, 전문가들은 건강, 뉴스 등 특정 영역을 중심으로 클러스터링됩니다.
모델 관련 정보는 Hugging Face 컬렉션에서 확인할 수 있습니다. ai2는 이 모델을 통해 문서 수준의 전문 분야를 인식하는 능력을 향상시키는 데 집중했습니다.
새로운 모델은 Hugging Face에서 다운로드할 수 있으며, 관련 커뮤니티 토론은 Reddit에서 진행 중입니다.