Pulse · AI 뉴스

SMF: LoRA, 풀 파인튜닝 대비 저메모리 망각 방지 기술

Qwen · 2026-05-05

연구진은 Qwen-2.5-0.5B-Instruct 모델에 SMF(Sparse Memory Finetuning)를 적용하여 MedMCQA 의료 시험 과제에서 성능을 향상시켰습니다.

SMF는 기존 LoRA, 풀 파인튜닝 대비 망각 현상을 줄이면서도 2.5%p의 성능 향상을 기록했습니다.

KL-divergence, TF-IDF 등 행 선택 규칙에 따라 망각 지표의 균형을 조절할 수 있습니다.

##SMF##파인튜닝##망각##Qwen
매일 핵심 AI 소식을 한국어로, 빠르게
App Store 에서 Pulse 받기 앱에서 열기