연구진이 LoRA를 활용해 LLM의 정확한 파라메트릭 기억 용량을 정량적으로 분석했어요. 파라메트릭 기억 법칙을 통해 손실 감소와 효과적인 파라미터, 시퀀스 길이를 연결하는 관계를 밝혀냈어요. MemFT라는 새로운 최적화 전략을 제안하여 기억 정확도와 효율성을 향상시켰어요.
연구진은 토큰 수준 분석에서 예측 확률이 0.5보다 클 때, 무조건적인 기억이 가능함을 확인했어요. 이를 바탕으로 MemFT 전략을 개발하여 학습 예산을 조정하고, 하위 임계 토큰에 집중하도록 유도했어요.
GitHub에서 관련 코드 공개 예정이며, 연구 결과는 LLM의 지속적인 학습 및 업데이트 전략에 기여할 것으로 기대돼요.