QLoRA 튜토리얼에서 권장하는 기본 학습률 2e-4가 1만 개 이하의 데이터셋에서는 과적합을 유발할 수 있다는 의견이 제기됐어요.
작성자는 데이터셋 크기를 줄이고 학습률을 1e-4로 낮추고 에포크 수를 늘리자 평가 손실이 크게 개선됐다고 설명해요.
QLoRA 튜토리얼의 학습률 설정을 그대로 따라 하는 사용자들은 데이터나 랭크를 탓하기 전에 학습률을 조정해 볼 것을 권장해요.
3만 개 이상의 데이터셋에서는 2e-4가 적절하지만, 1만 개 이하에서는 학습률을 낮추고 에포크 수를 늘려야 효과적이에요.