개발자가 CI/CD 파이프라인에서 코드 지원을 위해 로컬 LLM을 사용해야 하지만, 외부 API 사용이 제한적입니다.
32GB RAM과 i7 13세대 프로세서를 탑재한 노트북에서 다양한 llama cpp 백엔드(Vulkan, CPU)를 시도했지만, OOM 오류나 응답 지연 등의 문제가 발생했습니다.
현재 LM Studio와 Roo VS Code 확장을 사용하여 qwen 3.5 모델을 CPU 백엔드로 실행하고 있지만, 더 나은 개발 경험을 위한 방법을 찾고 있습니다.