연구진이 제로차 순차 최적화 기법인 ZO-Act을 제안했어요. ZO-Act은 입력 활성화 정보를 활용해 모델 가중치 변화를 제한하고, 가벼운 계수 행렬만 최적화해요.
기존 방법 대비 분산 감소 및 성능 향상 효과를 보이며, Llama-3-8B, OPT-13B, INT4 Llama-3-8B 모델에서 언어 이해, 질문 답변, 상식 추론 능력이 개선됐어요.
제로차 순차 최적화를 제한된 계수 공간에 대한 최적화 문제로 분석하고, LLM 활성화 및 기울기의 저랭크 구조를 활용해 근사 편향을 완화해요.