MatryoshkaLoRA는 LLM 파인튜닝 시 효율성과 성능을 모두 잡을 수 있도록 계층적 저랭크 표현을 학습하는 새로운 프레임워크입니다. 기존 LoRA 방식의 고정된 랭크 설정 문제를 해결하고, 데이터 효율성을 높입니다. AURAC라는 새로운 성능 평가 지표를 제안하여 다양한 랭크에서의 정확도와 성능 간의 균형을 평가합니다.
MatryoshkaLoRA는 기존 LoRA 및 DyLoRA 방식을 개선하여 모든 서브 랭크에 유용한 그래디언트 정보를 효율적으로 반영합니다. 이 프레임워크는 고정된 대각 행렬 P를 사용하여 LoRA 어댑터 간에 서브 랭크를 조정합니다.
연구 결과, MatryoshkaLoRA는 기존의 계층적 저랭크 어댑터 방식보다 더 정확한 표현을 학습하며, 다양한 데이터셋에서 정확도와 성능 간의 균형을 뛰어넘는 결과를 보여주었습니다. 코드 공개는 GitHub에서 확인할 수 있습니다.