연구진은 Android 및 iOS 기기에서 LLM을 사용하는 실제 사용자 환경을 모방하여 성능을 측정하는 'MELTing point' 논문을 발표했어요. iPhone 6 SE부터 NVIDIA AGX Orin까지 다양한 기기에서 tinyLlama, Llama-2, Gemma 등 여러 모델을 테스트했어요.
연구진은 RPi-4를 중앙 컨트롤러로 사용하여 기기에 작업을 배포하고, 데이터를 수집하고, 기기와 상호작용하며, 열화상 카메라와 SysFS를 활용하여 온도 변화를 측정했어요.
연구 결과, GPU가 CPU보다 성능이 우수했으며, LLMFarm 백엔드가 MLC-LLM보다 Metal GPU 가속에 더 효과적이었고, 모델 크기가 클수록 배터리 소모량이 증가했어요.