Noema 팀이 개발한 Noema Overfit 기능을 활용해 iPhone 17 Pro에서 Gemma 4 26B A4B 모델을 페이징 방식으로 실행하는 사용 사례를 선보였습니다.
페이징 방식은 RAM에 비전문 가중치를 유지하고 SSD에서 전문가 가중치를 읽어 큰 모델을 iPhone에서 실행할 수 있게 해주지만, 토큰 생성 속도가 느려지고 TTFT(Time To First Token)가 증가하는 단점이 있습니다.
초기 프롬프트 크기가 699 토큰이었음에도 불구하고, 6분 만에 답변을 얻었으며, 정확도가 중요한 경우 유용할 수 있습니다.