LiteLLM에서 각 서비스별 API 키를 분리해서 사용하고 Prometheus로 사용량을 기록해서 Grafana에서 확인하고 있어요. Frigate GenAI 요약에 사용되는 토큰이 생각보다 빨리 소모된다는 것을 알게 됐어요. 6시간 동안의 사용량 기록을 통해 LLM 활용 현황을 파악하고 있습니다.