연구진이 최신 옵티마이저를 위한 통합 조사 및 벤치마크 'OmniOpt'를 발표했어요. OmniOpt는 옵티마이저 업데이트를 5단계 메타 파이프라인으로 분석하고, LMO 오라클을 활용해 다양한 옵티마이저를 통일하는 데 초점을 맞췄어요.
OmniOpt는 메커니즘 패밀리 및 개선 목표를 기반으로 하는 이중 차원 분류 체계를 제시하고, 언어 모델 사전 훈련부터 이미지 분류까지 다양한 모델 규모와 훈련 환경에서 벤치마크를 수행했어요.
연구진은 명확한 메커니즘 및 목표 가정을 바탕으로 옵티마이저를 선택할 수 있는 좌표계를 제공하고, 옵티마이저 커뮤니티의 미래 발전을 위한 방향을 제시합니다.