사용자가 로컬 위키피디아 기반 지식 검색 챗봇 'Aiki'를 개발하여 GitHub에 공개했어요. Aiki는 위키피디아 아티클을 다운로드하여 chunking하고, TF-IDF 기반 retriever를 활용하여 관련 정보를 검색합니다. 사용자는 원하는 아티클 또는 유사 주제를 선택하여 다운로드할 수 있으며, LLM을 활용한 답변 생성 기능도 지원해요.
Aiki는 최소한의 의존성으로 로컬 환경에서 실행되며, 위키피디아 링크/리다이렉트를 활용한 쿼리 확장 기능도 제공합니다. 사용자는 GitHub 저장소를 통해 Aiki를 다운로드하고, 피드백을 환영합니다. 로컬 위키피디아 기반 RAG 시스템을 구축하려는 사용자에게 유용한 도구가 될 수 있습니다.
Aiki는 위키피디아 아티클을 다운로드하고 chunking하는 기능 외에도, 사용자 정의 TF-IDF + 코사인 유사도 retriever를 사용하여 관련 정보를 검색하고, LLM을 선택적으로 활용하여 답변을 생성합니다.