C++17로 작성된 Quadtrix.cpp는 PyTorch나 BLAS 같은 외부 라이브러리 없이 GPT 스타일 언어 모델을 구현한 프로젝트입니다. 826,985개의 파라미터로 구성된 이 모델은 단일 CPU 코어에서 76분 만에 학습되었으며, 모든 연산에 대한 수치 미분 역전파를 직접 구현했습니다. RTX 3080 GPU를 사용하면 학습 속도가 약 75배 향상되며, 이는 자체 구현한 기울기 계산의 성과를 보여줍니다.