Srijan Srivastava가 Silia라는 새로운 신경망 아키텍처를 발표했어요. 모델은 Hugging Face에서 확인할 수 있어요.
v1의 컴퓨팅 요구량 증가 문제를 해결하기 위해 DeepSeek MLA와 Qwen HydraHead를 활용했어요.
HellaSwag, PIQA, LAMBADA 벤치마크에서 Quark-v2, Spark-v4, SupraMini-v6와 성능을 비교했어요.
0.5M 파라미터로 Fineweb-edu 데이터셋 1B 토큰을 3 эпох 동안 학습했어요.