사용자가 아이폰/아이패드에서 GGUF 모델을 다운로드, 실행, 벤치마크할 수 있는 GenBench iOS 앱을 개발했어요. 앱은 Hugging Face에서 GGUF 모델을 검색하고 다운로드하며, 표준화된 프롬프트를 사용하여 tok/s, 첫 번째 토큰 지연 시간, 최대 메모리를 측정합니다. 아이폰 16 Pro에서 SmolLM2 1.7B Q4_K_M 모델은 초당 35토큰의 속도를 보여줬어요.
GenBench 앱은 사용자가 모델을 다운로드하고 실행하여 실제 성능을 확인할 수 있도록 설계되었으며, 글로벌 리더보드에 점수를 제출하여 다른 기기와 비교할 수 있습니다. 앱은 완전히 무료이며 계정이나 광고가 필요 없으며, 리더보드 제출은 익명으로 이루어져요. 사용자는 텍스트 및 비전 모델을 모두 지원하며, 향후 Perplexity 측정 기능 추가를 고려하고 있어요.
앱 스토어 링크는 https://apps.apple.com/us/app/genbench/id6775272272이며, 웹사이트는 https://genbench.tken.ai 입니다. 사용자는 앱을 통해 다양한 모델의 성능을 직접 확인하고, 앱에 대한 피드백과 추천 모델 목록을 제안할 수 있어요.