연구진은 Shampoo의 스태일레스 관련 오류를 줄이기 위해 FOAM(Frequency and Operator Error-Based Adaptive Damping Method)을 제안했어요. FOAM은 적응적으로 감쇠 계수와 eigendecomposition 주파수를 조절하여 훈련을 안정화해요.
스태일레스는 연산 효율성을 높이지만 성능 저하와 수치적 불안정성을 야기하며, FOAM은 감쇠를 통해 이러한 부정적인 영향을 억제해요.
실험 결과 FOAM은 표준 Shampoo보다 벽시계 시간을 줄이면서도 안정적인 수렴을 유지하는 것을 확인했어요.