Harshul Jain이 LLM 추론 내부 작동 원리를 분석한 핸드북을 GitHub에 공개했어요. GPU 실행 및 메모리 내부 구조를 다루며, GPU 활용률 저하 원인과 병목 현상 분석을 담고 있어요. 실제 운영 환경에서 경험을 바탕으로 피드백과 수정 제안을 환영합니다.
핸드북은 GPU 메모리 계층 구조, KV 캐시, 배치 처리 등 LLM 추론의 핵심 요소들을 상세히 설명하며, vLLM, SGLang, TensorRT-LLM 등 관련 기술도 다루고 있어요. Mermaid 다이어그램을 활용하여 복잡한 아키텍처 흐름을 시각적으로 이해하기 쉽게 구성됐어요.
현재 개인 학습 프로젝트로 진행 중이며, LLM 추론 경험이 있는 사람들의 피드백을 통해 지속적으로 개선될 예정입니다. GitHub 저장소를 통해 누구나 접근 가능하며, 이슈 및 풀 리퀘스트를 환영합니다.