MariusNocturnum 사용자가 DWARF 아키텍처 기반의 첫 모델 DWARF-55M-Base를 공개했어요. DWARF는 DSQG 레이어를 활용하여 기존 모델보다 효율적인 어텐션 메커니즘을 사용하며, 2048 컨텍스트까지 안정적인 정보 검색을 지원해요. 훈련 데이터 크기는 10B 토큰의 Dolma3 Mix 150B이며, Github를 통해 HISA 경로를 활용한 실험도 가능해요.