LLM 파인튜닝 시 GPU 메모리 부담을 줄이는 MeZO 방식이 있지만, 수렴 속도가 느린다는 단점이 있습니다. 연구진은 Adam 방식의 1차, 2차 모멘트 추정치를 활용하지만 메모리에 저장하지 않는 AdaMeZO를 제안했습니다. AdaMeZO는 MeZO보다 성능이 뛰어나면서도 포워드 패스 횟수를 최대 70%까지 줄일 수 있으며, 다양한 손실 환경에 적응할 수 있습니다.