제로차수 최적화는 LLM을 에지 장치에서 튜닝하는 데 중요하며, 최근에는 저차원 부분 공간 검색을 통해 ZO 분산을 줄이려는 시도가 이루어지고 있습니다.
본 연구에서는 Muon과 같은 스펙트럴 최적화기가 약한 스펙트럴 방향을 직교화하여 AdamW보다 우수한 성능을 보이는 것을 확인하고, 제로차수 환경에서 부분 직교화를 제안합니다.
SuperGlue 데이터셋에서 OPT-13B 모델을 사용하여 실험한 결과, 기존 SOTA 알고리즘인 ZO-Muon보다 1.5배에서 4배 빠른 수렴 속도를 달성했습니다.