llama-launcher 앱 개발자가 Tree-Structured Parzen estimation 기반의 Bayesian 최적화 기능을 추가했어요. 이 기능은 llama-server를 활용해 모델 파라미터를 자동으로 튜닝하여 성능을 향상시킵니다. Gemma 12B MTP 모델 테스트에서 최대 15% 속도 향상을 확인했어요.
사용자는 별도의 수동 작업 없이 llama-launcher를 통해 모델 성능을 최적화할 수 있어요. 현재 초기 단계이지만, 사용자 제안을 통해 개선될 예정입니다. GitHub 저장소에서 llama-launcher를 확인할 수 있어요.