사용자가 llama-server 실행 속도 향상 방법을 문의했습니다. 현재 출력 속도는 초당 30토큰, 프리필 속도는 초당 500토큰입니다. 사용자는 Qwen3.6-35B 모델을 사용하며, 다양한 명령 옵션을 적용하고 있습니다.
문제 해결을 위해 사용자는 CPU 코어 활용, 배치 크기 조정, 터보 옵션 활성화 등 다양한 설정을 시도했습니다. 현재 설정은 RTX 4060 GPU를 활용하여 999개의 레이어를 가속하고 있습니다.
사용자는 성능 향상을 위해 추가적인 조언을 구하며, 관련 이미지를 첨부하여 현재 실행 환경을 공유했습니다.