Pulse · AI 뉴스

평탄성과 기울기 정렬은 모두 필요합니다: 분산형 학습을 위한 스펙트럼 인식 기울기 정렬 탐색

SAGE · 2026-05-09

본 논문에서는 손실 지형의 기하학적 특성을 고려하지 않고 평탄성 또는 기울기 정렬만 목표로 하는 기존 방법의 한계를 지적하며, 다중 분포 학습 환경에서는 두 가지 모두를 고려해야 한다고 주장합니다.

새로운 위험 초과 분해를 통해 기울기 정렬과 곡률이라는 두 가지 주요 요인을 도출했으며, 이들은 각각 $ar{H}^{-1}Σ_g$의 미적과 $ar{H}$에 의해 제어됩니다.

SAGE(Spectral-Aware Gradient-Aligned Exploration)라는 새로운 방법을 제안하여 두 요인을 모두 목표로 하며, DomainBed 벤치마크에서 새로운 최고 성능을 달성하고 다중 작업 학습 솔버를 개선했습니다.

##분산형학습##기울기정렬##평탄성##SAGE##최신연구
매일 핵심 AI 소식을 한국어로, 빠르게
App Store 에서 Pulse 받기 앱에서 열기