본 논문은 순환 신경망 언어 모델이 인식할 수 있는 형식 언어를 다룹니다. 기존 연구 결과가 상반되는 이유를 분석하여, 다양한 산술 모델에 대한 형식적 설명을 제시합니다. 모델의 표현력을 대수적 질문으로 환원하여, 구문 모노이드와 wreath product 간의 관계를 분석합니다. 대각 상태 공간 모델을 사례 연구로 활용하여, 부동 소수점 연산과 부호 없는 정수 양자화 조건에 따른 모델의 표현력 변화를 보여줍니다.