독립 연구자가 DABSN(Dynamic Adaptive Bias State Network)이라는 새로운 순환 언어 모델 아키텍처 프리프린트와 코드를 공개했어요. 이 아키텍처는 추론, 기억, 긴 시퀀스 벤치마크에서 뛰어난 성능을 보여줘요. 연구자는 더 큰 GPU 클러스터 지원을 통해 아키텍처를 확장하고 더 강력한 기준선 설정을 위한 협력자를 찾고 있어요.
DABSN 셀을 기반으로 24M 파라미터, 1B 토큰으로 사전 훈련된 언어 모델을 개발했는데, 예상보다 흥미로운 결과가 나왔다고 해요. 현재 이 모델의 장기 컨텍스트 동작 및 확장에 초점을 맞춘 두 번째 논문을 작성 중이에요.
독립적인 결과 재현, 더 강력한 기준선 설계, 더 큰 GPU 클러스터 접근 지원 등 다양한 방식으로 협력을 환영하며, 모든 작업은 공개 및 재현 가능하도록 설계돼 있어요.