연구진은 대규모 언어 모델(LLM)의 질문 답변 능력을 활용하는 검색 증강 생성(RAG) 시스템에서 청킹 전략을 평가했어요. 학술 논문에서 클러스터 기반 청킹이 고정 크기 및 재귀 청킹보다 검색 및 답변 품질을 개선하는지 확인했어요. RAGAs 프레임워크를 사용한 평가 결과, 충실도 측면에서 신뢰성이 제한적이었어요.
고정 크기 청킹과 문서별 질문에 대한 성능은 문서 형식 및 전처리 방식에 따라 크게 달랐어요. 테스트된 환경에서 클러스터 기반 청킹은 더 간단한 전략보다 우수하지 않았어요. 연구 결과는 RAG 시스템 설계 시 청킹 전략 선택의 중요성을 강조해요.