Reddit 사용자 kingo86이 LLM 설정 및 파라미터 최적화/테스트 방법을 문의했어요. llama.cpp를 router 모드로 사용하고 models.ini 파일로 모델 설정을 관리하고 있어요. 더 나은 방법이 있는지 조언을 구하고 있습니다.
현재 설정은 headless 머신에서 LLM을 실행하고 llama.cpp를 router 모드로 사용하며 models.ini 파일로 모델 설정을 관리하는 방식이에요. AI가 관리하는 저장소에 문서를 보관하고 있습니다.