연구진은 GPT-4o-mini 모델과 ChromaDB 벡터 스토어를 활용하여 5가지 검색 전략(Dense Vector Search, BM25+Dense, Cross-Encoder Reranking, Multi-Query Expansion, MMR)의 생의학 질문-응답 RAG 성능을 비교했습니다.
DeepEval 지표(contextual precision, recall, faithfulness, answer relevancy)를 활용한 결과, Cross-Encoder Reranking이 가장 높은 성능(0.827)을 보였으며, BM25+Dense 전략은 0.005점 차이로 근접했습니다.
RAG 파이프라인은 no-context ablation 대비 answer relevancy에서 0.658~0.701의 성능을 보여 RAG의 실용적인 가치를 입증했습니다.