Srijan Srivastava가 H100 GPU에서 5시간 만에 1억 1700만 파라미터 Silia 모델을 학습했어요. 이 모델은 코드리언의 synth-100M 데이터셋을 활용해 8200만 토큰으로 학습됐어요.
모델은 현재 under-trained 상태이며, 더 많은 토큰으로 학습하면 성능 향상이 기대돼요. 학습 과정과 모델 정보는 Hugging Face와 GitHub에 공개됐어요.
Silia 모델의 아키텍처는 Multi-Headed Attention과 Rotary Positional Embeddings를 활용하며