NHClimber87이 LLM 서버 박스 관리를 위한 단일 파일 대시보드를 오픈소스로 공개했어요. GPU 사용률, 모델 처리량, KV/컨텍스트 채움, 시스템 상태 등 정보를 제공하며 llama.cpp와 vLLM을 지원해요. 외부 의존성 없이 터미널 스타일의 페이지로 제공돼 편리해요.
GPU 카드별 사용률, VRAM, 전력, 온도, 클럭, 실제 컴퓨팅 테넌트 정보 등을 표시하며, 모델 라이브러리 인벤토리와 추론 과정을 보여주는 기능도 제공돼요. 모델 포트 자동 감지 기능을 통해 모델 위치 변경에도 대응해요.
현재 개발 중이지만, LLM 관제 환경을 개선하고 모델 추론 과정을 시각화하는 데 도움이 될 것으로 기대돼요. 사용자 피드백을 통해 지속적으로 개선해 나갈 예정이에요.