연구 논문에서 RPi5-Hailo, iPhone 16 Pro, S24 Ultra, 4050 Laptop GPU에서 Qwen-2.5-1.5B 모델을 벤치마킹했어요. RPi5-Hailo는 안정적인 성능을 보였지만, iPhone은 스마트폰 중 가장 빠른 토큰 처리 속도를 기록했어요.
S24 Ultra는 프롬프트 크기로 인해 GPU 리소스 부족 문제가 발생했지만, 청크 분할을 통해 안정적인 성능을 확보했어요. 4050 Laptop GPU는 시스템 전력 소비량이 높았지만, 가장 뛰어난 성능을 보였어요.
연구의 한계점으로, 벤치마크 결과의 분산(CV) 비교 부족, 전력 소비량 측정의 불명확성, DVFS 및 백그라운드 작업 환경 미고려 등을 지적했어요.