연구진은 파라미터 효율적인 미세 조정(PEFT)을 전체 미세 조정의 저렴한 대안이 아닌, 강력한 공유 기반 모델 위에 지속적인 로컬 상태로 활용하는 방안을 연구했어요. PEFT를 통해 개인의 선호도, 기술, 도구 사용 습관, 기억과 같은 정보가 담긴 개인 맞춤형 모델을 구축할 수 있어요. 연구는 공유된 사전 지식 강화, 작은 어댑터 연구, 여러 어댑터 공존이라는 세 가지 축으로 구성돼요.
Scale Up에서는 강력한 공유 사전 지식이 작은 로컬 업데이트를 더욱 유용하게 만들고, Scale Down에서는 어댑터의 크기를 최소화하면서도 안정성을 유지하는 방법을 연구했어요. Scale Out에서는 여러 개의 지속적인 어댑터 인스턴스가 공존하는 환경을 다루며, MinT는 어댑터 관리 인프라의 예시를 제공해요.
연구 결과, PEFT는 전체 미세 조정의 저렴한 대안이 아닌, 개인 맞춤형 모델을 위한 핵심 기술로 활용될 수 있음을 시사하며, 1조 파라미터 모델의 개인 맞춤형 모델 구축 가능성을 보여줘요.