Hugging Face에서 Kimi-K3 모델이 공개됐어요. 이 모델은 2.8조 개의 매개변수와 104만 토큰의 컨텍스트를 지원해요. Kimi Delta Attention, Attention Residuals, Stable LatentMoE 기술을 결합해 장시간 코딩, 지식 작업, 추론에 도움을 줘요. 896명의 전문가 중 토큰마다 1명을 선택하는 방식으로 작동하며, 다양한 작업에 활용될 수 있을 것으로 기대돼요.