SymbolicLight V1은 트랜스포머 수준의 언어 품질, 안정적인 다중 도메인 사전 훈련, 높은 활성화 희소성을 결합한 스파이크 게이티드 이중 경로 언어 모델입니다.
194M 파라미터 모델은 3B 토큰 중국어-영어 코퍼스에서 사전 훈련을 받아 8.88~8.93의 검증 PPL을 달성하며, 89% 이상의 활성화 희소성을 보입니다.
스파이크 게이티드 로컬 어텐션 경로가 성능 향상에 가장 큰 기여를 하며, LIF 동역학을 대체하는 것보다 성능이 더 저하됩니다.
48.8B 토큰으로 훈련된 0.8B 파라미터 모델의 확장 실험을 통해 최적화 및 희소성 보존 가능성을 확인했습니다.