연구팀은 순환 메모리 기반의 실험적인 232M 파라미터 하이러코스 언어 모델을 개발하고 훈련했습니다. 하이러코스는 RWKV 백본, 계층적 관리자/작업자 루프, 차등 슬롯 기반 장기 메모리(LTM), 결정적 접미사 오토마타를 결합한 하이브리드 아키텍처를 사용합니다. 훈련 과정에서 파티티 미스매치 및 수치 안정성 문제를 해결하여 짧은 형식의 지시 일관성을 유지했으며, 향후 장기 컨텍스트 처리 능력 향상 및 과학적 검증을 목표로 합니다.