연구진은 대규모 언어 모델(LLM)의 효율적인 미세 조정 방법인 GPart를 제안했어요. GPart는 기존 LoRA 방식의 구조적 제약을 없애고, 단일 등각 파티셔닝 행렬을 사용하여 학습 벡터를 모델 전체 가중치 공간에 직접 매핑합니다.
GPart는 기존 PEFT 방법보다 뛰어난 효율성과 성능을 보여주며, 자연어 이해, 컴퓨터 비전, 수학적 추론 등 다양한 작업에서 우수한 결과를 얻었어요.
GPart는 단일 하이퍼파라미터($d$)로 제어되고, 저장 비용이 $d+1$ 값으로 매우 적어, 간단하고 우아한 PEFT 솔루션을 제공합니다.