연구진은 제로차 순차 미분(ZO) 방식의 LLM 학습이 추론 작업에 집중됨을 확인했어요. 기존 방식은 학습 루프 내에서 실행되지만, 이는 비효율적입니다.
vLLM을 활용해 추론 기반으로 ZO 알고리즘을 실행했을 때 OPT-13B SST-2에서 2만 스텝 학습을 0.51시간에 완료하며, 기존 방식보다 8.13배 빠른 속도를 기록했어요.
연구 결과는 제로차 업데이트를 동적 어댑터 상태로 표현하여 추론 시간 학습을 가능하게 하는 방안을 제시하며, 경량화된 적응을 추론 워크로드로 활용할 수 있음을 시사합니다.