PyTorch를 사용하여 LLM 아키텍처를 직접 구현하는 저장소가 구축되었습니다. 이 저장소는 불필요한 프레임워크나 추상화를 최소화하여 LLM 내부 작동 원리를 이해하는 데 중점을 둡니다.
현재 GPT 구현을 제공하며, 클린 디코더 전용 트랜스포머, 플래시 어텐션 지원, 최소한의 트레이너, CPU 및 GPU 멀티프레시전 지원 기능을 포함합니다.
저장소 링크는 https://github.com/mohamedrxo/simplegpt이며, LLM 내부 작동 원리에 관심 있는 사람들의 기여를 환영합니다.