본 연구는 LoRA와 QLoRA 등 파라미터 효율적인 파인튜닝(PEFT) 방법을 활용하여 튀르크족의 저자원 집합어 언어인 Bashkir 언어에 LLM을 적용하는 비교 연구를 진행합니다.
Mistral-7B에 QLoRA를 적용했을 때 40배 적은 파라미터로도 GPT-2 medium의 성능에 근접한 결과를 얻었으며, DeepSeek-7B에서는 성능 저하가 나타나 모델 아키텍처 선택이 중요함을 확인했습니다.
최저 perplexity는 GPT-2 medium의 전체 파인튜닝에서 기록했지만, QLoRA를 사용한 모델이 더 자연스러운 Bashkir 텍스트를 생성하는 등 품질과 계산 비용 간의 균형을 제공하는 것으로 나타났습니다.