사용자가 Android 폰을 로컬 LLM 추론 서버로 활용하는 AI 메쉬 구축에 성공했어요. Vulkan 가속을 통해 GGUF 모델을 로컬에서 실행하고 OpenAI 호환 엔드포인트를 제공합니다. Tailscale을 통해 클러스터에 참여하고, 배터리/온도/프롬프트 크기에 따라 라우팅을 조정합니다.
Android 폰은 llama.cpp JNI/NDK 브리지를 통해 Vulkan 가속을 사용하며, LiteLLM 라우터를 통해 OpenAI 호환 게이트웨이를 제공합니다. Sheens Mac Studio나 RTX 박스와 같은 폴백 노드도 지원하여 안정적인 추론 환경을 구축합니다.
이 방식은 단순히 Android 폰에서 챗봇을 실행하는 것을 넘어, 휴대 가능한 GGUF 추론 서버로 작동하며 기존 AI 클러스터에 통합될 수 있도록 설계되었습니다.