독일 Telekom이 Soofi S 30B-A3B라는 새로운 오픈소스 혼합 전문가(MoE) 모델을 공개했어요. 이 모델은 독일어와 영어를 지원하며, 토큰당 30B 파라미터 중 3B만 활성화돼 장기 컨텍스트 처리 효율이 높아요.
27조 토큰으로 사전 훈련했으며, 특히 독일어 데이터를 중요하게 다뤄 기존 모델보다 독일어·영어 코딩 성능이 뛰어나요. 유럽 내 다른 오픈소스 모델보다 성능이 우수해요.
모델 가중치, 체크포인트, 데이터 구성 정보, 하이퍼파라미터, 훈련 및 평가 코드를 오픈 액세스 조건으로 공개하며, 상업적 라이선스 데이터는 통계 정보와 함께 제공돼요.