alichherawalla가 로컬 AI 어시스턴트 구현 과정을 공유했어요. Apple Vision 프레임워크로 OCR을 처리하여 LLM의 토큰 사용량을 줄였어요. 유휴 상태에서 증류를 실행하여 모델이 실행 중인 프로젝트 노트 요약을 처리하며, 쿼리 검색은 SQLite FTS와 LanceDB를 결합했어요. 현재 macOS + Apple Silicon에서만 작동하며, Intel에서도 작동하지만 속도가 느려요.
OCR은 Apple Vision 프레임워크로 처리하고, LLM은 쿼리 검색을 위해 SQLite FTS와 LanceDB를 결합하여 정확도를 높였어요. 4B 모델로도 충분히 성능을 낼 수 있지만, 작은 모델에 적절한 컨텍스트를 제공하는 것이 중요해요. 현재 AGPL 라이선스로 공개되었으며, 유휴 상태 스케줄링 및 FTS+벡터 퓨전 가중치에 대한 의견을 환영해요.
GitHub에서 소스 코드를 확인할 수 있으며, 스케줄러 내부 또는 검색 퓨전 관련 질문을 받고 있어요. 현재 macOS + Apple Silicon에서만 작동하며, Intel에서도 작동하지만 OCR + 추론 속도가 느려요.