연구자들은 소규모 데이터셋 LoRA 훈련에 대한 논문을 발표하며, 체인 방식 훈련이 단조적 방식보다 개념 좁힘을 방지하는 효과가 있음을 확인했습니다.
논문은 LoRA 훈련 시 '잘 훈련되었다'는 의미에 대한 기준이 필요하며, 의도적인 중간 망각을 통해 모델의 일반화 능력을 향상시키는 방법을 제시합니다.
연구진은 Qwen-Image 모델을 기반으로 다양한 실험을 진행하여 LoRA 훈련의 5가지 실패 모드를 진단하고, 관련 설정 파일과 그림을 Hugging Face에 공개했습니다.