LLM 기반 제품 개발 시 컨텍스트 관리, 메모리 유지, 멀티 모델 라우팅에 어려움을 겪는 개발자들이 많아요. 이 과정에서 자체 인프라를 구축하는 경우가 많아 효율적인 방법이 필요해요.
세션 간 메모리 유지, 벡터 DB 구축, 멀티 모델 라우팅 등에서 어려움을 겪고 있으며, 관련 코드 비율이 제품 코드의 상당 부분을 차지하기도 해요.
Supermemory, Mem0, LangChain memory 등 기존 도구를 활용해 봤지만, 부족한 점이 있어 자체 솔루션을 구축하는 경우도 많아요.
메모리/벡터 DB 인프라 월별 비용이 상당한 부담이 되는 경우도 있으며, 타사 솔루션 도입 시 신뢰 구축이 중요해요.