Pulse · AI 뉴스

Super-Tuning: 활성화 기반 가지치기에서 희소 미세 조정까지

Llama · 2026-07-10

연구진은 LLM 미세 조정 비용 절감을 위해 활성화 기반 가지치기 기술을 활용한 Super-Tuning 방법을 제안했어요. Super는 Wanda 방식의 활성화 가중치 점수를 활용해 작은 학습 지원을 고정하고, Supra는 LoRA와 결합한 하이브리드 어댑터로 설계됐어요. Llama-3.2-1B 및 Meta-Llama-3-8B 모델에서 Math17K 산술 실험 결과, Super/Supra 변형이 가장 높은 평균 정확도를 달성했어요.

##LLM##미세조정##SparsePEFT##Super-Tuning
매일 핵심 AI 소식을 한국어로, 빠르게
App Store 에서 Pulse 받기 앱에서 열기