Memanto가 클라우드 메모리 시스템을 SQLite RAG 구현과 비교한 벤치마크를 진행했어요.
Memanto는 정확도 90%, 평균 쿼리 지연 시간 1.878초를 기록했고, SQLite RAG는 정확도 80%, 평균 쿼리 지연 시간 2.680초를 기록했어요.
SQLite RAG는 API 속도 제한으로 인한 오류가 있었지만, 이를 고려하면 Memanto와 유사한 성능을 낼 수 있었을 것으로 예상돼요.
클라우드 기반 Memanto는 API 제한에 강건하지만, 로컬 RAG는 API 할당량 공유로 인한 취약점이 있을 수 있다는 점이 확인됐어요.