IvGranite 사용자가 AI 에이전트의 완전 로컬 웹 검색 파이프라인 구축 경험을 공유했어요. SearXNG, Hister, rnet, camofox, qwen3-reranker-4b 등을 활용하여 클라우드 API 호출 없이 웹 검색을 구현했어요. 페이지 변경 및 삭제에 대비한 캐시 레이어가 가장 중요한 역할을 하며, 프라이버시 보호에도 기여해요. 자세한 내용은 kmarble.dev에서 확인할 수 있어요.
Firefox는 데이터센터 IP에서 Reddit 403 오류를 발생시키지만 Safari는 정상 작동하며, Cloudflare 챌린지는 브라우저 렌더링이 필요해요. 웹 페이지는 세션 간에 변경될 수 있으므로, 검색 시점을 기준으로 캐싱하는 것이 중요해요. 이러한 로컬 웹 접근 방식은 대부분의 사용자가 검색 API를 사용하는 것과 다른 접근 방식이에요.
웹 검색 파이프라인 구축 시 지문 감지 및 봇 방지 레이어가 필요하며, 이는 개별적으로 해결해야 하는 과제예요. IvGranite는 자신의 경험을 kmarble.dev에 자세히 기록했으며, 다른 사용자의 구축 방식에 대한 의견을 구하고 있어요.