사용자가 아이폰에서 대규모 로컬 모델 실행하는 방법을 공유했어요. iOS 17.2 업데이트로 CoreML 성능이 향상되어 가능해졌어요. 특히 Llama 2 70B 모델을 아이폰에서 실행하는 데 성공했다는 내용입니다.
기존에는 아이폰에서 대규모 모델 실행이 어려웠지만, CoreML 성능 개선으로 가능해졌어요. 사용자는 Llama 2 70B 모델을 아이폰에서 실행하며, 15분 만에 100페이지 분량의 PDF를 처리할 수 있었어요.
아이폰에서 로컬 모델 실행은 개인 정보 보호와 오프라인 사용에 유리하며, CoreML 성능 개선으로 더 많은 모델을 실행할 수 있게 되었다는 점이 주목할 만합니다.