연구진이 LoRA를 활용하여 LLM의 정확한 파라메트릭 기억 용량을 정량적으로 분석하는 연구를 발표했어요. 파라메트릭 기억 법칙을 통해 손실 감소와 효과적인 파라미터, 시퀀스 길이를 연결하는 관계를 밝혀냈어요. MemFT라는 새로운 최적화 전략을 제안하여 메모리 충실도와 효율성을 향상시켰어요.
LoRA를 활용한 파인튜닝 시, 예측 확률이 0.5보다 큰 토큰은 무조건 정확하게 기억하는 현상을 확인했어요. 이를 바탕으로, 학습 예산을 효율적으로 분배하는 MemFT 최적화 전략을 개발했어요.
MemFT는 기존 방식 대비 메모리 충실도를 높이고 학습 효율성을 개선하는 효과를 보였으며, 관련 코드는 GitHub에서 공개될 예정이에요.