사용자가 llama.cpp 서버의 네이티브 툴 기능을 활용해 웹 RAG(Retrieval Augmented Generation)을 구현하는 방법을 공유했어요. 안전한 실행을 위해 Firejail과 Smolmachines를 사용한 다중 샌드박싱 환경을 구축하고, 웹 페이지 내용을 가져와 분석하는 명령어를 실행하는 워크플로우를 제시했어요. 이 방법을 통해 웹 콘텐츠를 안전하게 검색하고, 모델이 분석한 결과를 활용할 수 있습니다.
llama.cpp 서버 옵션 활성화, Firejail 설치, 가상 사용자 생성, Smolmachines 설치, VM 생성 및 실행, 샌드박스 실행 스크립트 작성, 웹 UI 프롬프트 실행 등의 단계를 거쳐 웹 RAG 환경을 구축해요. 이 과정에서 웹 콘텐츠를 가져올 때 User-Agent를 Mozilla로 설정하여 웹 서버에 접속해요.
이 방법은 기존의 pi 코딩 에이전트 샌드박싱 노력을 기반으로 하며, Linux 환경에서 안전하게 웹 RAG를 실행할 수 있도록 다중 샌드박싱을 적용했어요. 이러한 접근 방식은 모델의 안전성을 높이고, 시스템에 대한 잠재적인 위험을 줄이는 데 도움이 됩니다.