연구진은 모든 LoRA 행렬을 동일하게 업데이트하는 방식의 비효율성을 지적하며, 컨디션 넘버(singular value 비율)가 작은 행렬은 이미 균형 잡힌 상태로 추가적인 업데이트 기여도가 낮다는 사실을 밝혀냈습니다.
k-LoRA는 컨디션 넘버가 큰 행렬에 업데이트를 집중하여, 업데이트 대상 행렬 50%로 줄여 연산 및 메모리 비용을 절감하고, 학습 시간을 16.2% 단축했습니다.
다양한 벤치마크 실험 결과, k-LoRA는 기존 LoRA와 동등한 정확도를 유지하면서도 메모리 비용을 4.5% 감소시켰으며, 학습 과정에서 선택된 행렬의 컨디션 넘버가 감소하는 현상은 스펙트럼 재균형화가 핵심임을 시사합니다.