HiP-LoRA는 기반 모델의 업데이트가 기존 성능에 미치는 영향을 줄이기 위해 고안된 새로운 프레임워크입니다. HiP-LoRA는 사전 학습된 레이어의 고유값 분해(SVD) 정보를 활용하여 업데이트를 주성분 채널과 잔여 저랭크 채널로 분리합니다. Llama-3.1-8B 모델 실험 결과, HiP-LoRA는 기존 방식보다 지속적인 튜닝 및 지식 편집과 같은 작업에서 더 나은 성능을 보였습니다.