사용자가 C로 딥러닝 라이브러리를 직접 구축하여 SLM(Self-Supervised Language Model) 학습을 성공적으로 완료했어요. 텐서 조작, 자동 미분, 신경망 모듈, 디코더 등 핵심 기능을 직접 구현했죠. AVX2를 활용한 빠른 행렬 곱셈을 구현하여 성능을 향상시켰어요. 2백만 파라미터의 작은 LM을 학습하여 Tiny Shakespeare 데이터셋에서 좋은 결과를 얻었어요.
구현된 라이브러리를 통해 생성된 텍스트는 셰익스피어 작품의 일부를 흉내 낸 듯한 문장을 생성했어요. GitHub 저장소를 공개하여 다른 개발자들이 참고할 수 있도록 했죠. PyTorch나 GGML과 같은 프레임워크의 핵심 메커니즘에 대한 이해도를 높이는 데 도움이 되었어요.
TensorLib 저장소를 통해 텐서 조작, 자동 미분, 신경망 모듈, 디코더 등 구현 과정을 확인할 수 있어요. 이 프로젝트는 딥러닝 프레임워크의 작동 원리를 이해하는 데 유용한 경험을 제공했어요.