BuffaloBuffaloBuffaloBuffalo가 캐릭터 LoRA 훈련에 새로운 기법을 적용했어요. 기존 방식의 문제점인 과도한 기억을 방지하고, 더 나은 유사성을 확보하는 데 도움이 돼요. 새로운 기법은 가중치 노이징을 활용하며, 뎁스 앵커링과 함께 사용돼요. 8장의 이미지로 배우고 750 스텝에서 최적의 결과를 얻었어요.
가중치 노이징은 각 훈련 단계에서 LoRA 가중치에 작은 가우시안 변화를 주입하여 모델이 훈련 중 실수하는 것을 '잊도록' 돕고 데이터에서 일관성 있는 정보만 유지하도록 해요. 이를 통해 모델은 더 평탄한 손실 최소값을 향해 훈련되고, LoRA 분해의 더 많은 특이 방향으로 학습이 분산돼요.
새로운 방법은 기존 방식과 동일한 설정(배치 크기, LR, 이미지 크기 버킷, LoKr factor)을 사용했지만, 가중치 노이징과 뎁스 앵커링을 적용하고 각 버킷 크기에 따른 이미지 반복 횟수를 다르게 설정했어요. 현재는 데이터셋 크기, 배치 크기에 따른 최적의 시그마 값을 찾고 있으며, 다른 캐릭터 LoRA 기법과의 호환성을 검토 중이에요.
새로운 기능은 Docker 지원을 추가하여 Runpod에서 쉽게 실행할 수 있도록 했고, Quickstart Template 드롭다운을 통해 캐릭터 설정을 쉽게 적용할 수 있도록 개선했어요. 질문이나 문제 해결에 대한 도움은 DM 또는 댓글로 문의 가능해요.