연구진은 메모리 제약이 있는 대규모 언어 모델(LLM) 미세 조정 시 적응형 제로차 순위 최적화(ZO)의 효과를 분석했어요. ZO-Adam과 같은 적응형 ZO 방법이 잘 조정된 ZO-SGD보다 수렴 이점을 제공하지 않으며 메모리 오버헤드가 크다는 것을 확인했어요. 연구진은 단일 스칼라를 추적하여 전역 스텝 크기 적응을 수행하는 MEAZO라는 메모리 효율적인 적응형 ZO 최적화기를 제안하고, 이론적 수렴 보장을 뒷받침했어요.