CS 학생이 Apple Silicon 환경에서 MLX 추론 엔진 성능을 비교할 수 있는 오픈 소스 CLI 도구 'mlx-Chronos'를 개발했어요.
TTFT, 처리량, 메모리 사용량, 온도 상태 등 표준화된 벤치마크 프로토콜을 측정하고 커뮤니티 리더보드에 결과를 제출할 수 있어요.
현재 M2 8GB 환경에서만 테스트됐으며, M3 Max, M4, M4 Ultra 등 더 많은 RAM을 가진 환경에서의 결과가 필요해요.
GitHub 저장소에서 설치 및 자세한 내용은 확인할 수 있으며, 피드백과 기여를 환영해요.