연구진은 유전 알고리즘 프레임워크를 활용해 딥러닝 옵티마이저를 자동으로 발견하는 방법을 제시했어요.
50세대 동안 50개 개체군을 대상으로 진화적 탐색을 진행한 결과, Adam보다 2.6% 더 우수한 성능을 보이는 옵티마이저를 발견했어요.
발견된 옵티마이저는 sign-based gradient term과 adaptive moment estimation을 결합하고, Adam보다 낮은 모멘텀 계수를 사용하며, bias correction을 비활성화했어요.