Pulse · AI 뉴스

샘플별 클리핑을 활용한 강력하고 빠른 학습

arXiv cs.LG · 2026-05-05

연구진은 샘플별 기울기 클리핑 기반의 견고한 기울기 추정기를 제안하고 이론적, 실증적으로 분석했어요.

이 방법인 PS-Clip-SGD는 꼬리 부분에 해당하는 기울기 노이즈 환경에서 기대 최적의 수렴 속도를 달성하는 것으로 나타났어요.

실험 결과, PS-Clip-SGD는 모멘텀 SGD와 표준 기울기 클리핑을 능가하며, 기울기 누적 시 미니 배치 수준에서 클리핑을 적용하면 성능을 향상시킬 수 있었어요.

##최적화##기울기클리핑##수렴속도
매일 핵심 AI 소식을 한국어로, 빠르게
App Store 에서 Pulse 받기 앱에서 열기