Krea2T 모델의 프롬프트 준수 문제를 해결하기 위해 TextFusion 경로를 직접 타겟팅하는 새로운 훈련법이 공개됐어요. 기존 방법들은 부분적인 개선만 가져왔지만, 이번 방법은 TextFusion 관련 모듈에 집중하여 학습했어요.
특히 `txtfusion.projector`, `txtfusion.layerwise_blocks`, `txtfusion.refiner_blocks` 등의 모듈을 타겟팅하고 `txtmlp`는 제외하는 방식으로 훈련했어요. 이를 통해 프롬프트가 더 잘 반영되고, 기존의 억제 현상도 완화될 수 있어요.
공개된 설정 파일은 GitHub에서 확인 가능하며, 500단계 이후부터 프롬프트 준수 개선 효과를 확인할 수 있어요. 이번 방법은 프롬프트 재작성이나 워크플로우 트릭이 아닌, 모델 자체의 학습을 통해 프롬프트 준수력을 높이는 방식이에요.
이 방법은 캐릭터 LoRA나 스타일 LoRA와는 달리, Krea2T가 텍스트 인코더 레이어를 압축하고 정제하는 과정에 집중하여 훈련하는 방식이에요.
TextFusion을 타겟팅하는 훈련법은 런타임 오버헤드 없이 모델에 학습된 행동을 반영하여, 보다 안정적인 결과를 얻을 수 있도록 해줘요.