연구진은 LoRA(Low-Rank Adaptation)를 활용한 기술 문서 기반 RAG(Retrieval-Augmented Generation) 시스템에서 품질, 지연 시간, 리소스 균형을 분석했어요.
Kubernetes 공식 문서 기반 5,144개의 질문-답변 벤치마크를 구축하고, Llama-3.2-3B-Instruct와 Llama-3.1-8B-Instruct 모델에서 다양한 LoRA 설정을 실험했어요.
q, v 어텐션 프로젝션에만 작동하는 LoRA 어댑터가 우수한 성능을 보였으며, 3B/8B 모델 선택은 시스템 운영 환경을 결정하는 주요 요인으로 나타났어요.