jegly 님이 개발한 Box 프로젝트는 Google의 AI Edge Gallery를 포크하여 Android에서 완전 오프라인 AI 비서 기능을 제공하는 앱입니다.
llama.cpp, whisper.cpp, stable-diffusion.cpp, LiteRT 등 다양한 로컬 추론 백엔드를 결합하여 음성 대화, 비전+음성, 이미지 생성, 문서 처리 등의 기능을 지원합니다.
LiteRT와 llama.cpp의 하이브리드 추론, 모델 라우팅, Whisper.cpp의 안정성, 메모리 관리 등 모바일 환경에서의 성능 최적화에 대한 피드백을 구하고 있습니다.