연구진이 역전파 없이 몬테카를로 알고리즘만으로 심층 신경망을 훈련하는 방법을 제시했어요. 이 방법은 배치 정규화나 잔차 연결 같은 기술 없이도 깊은 신경망을 직접 훈련할 수 있어요. 실험 결과 20개 이상의 레이어를 가진 심층 신경망, 16,384개의 은닉 뉴런을 가진 네트워크, 심지어 간단한 트랜스포머 아키텍처까지 성공적으로 훈련했어요.
무작위로 파라미터를 변이하고 손실이 감소하면 유지하는 방식으로 작동하며, 순수 가지치기 훈련, 이산 가중치 지원, 가우시안 함수 같은 비전통적인 전송 함수 수용 등 다양한 시나리오에 적용 가능해요. 심층 신경망의 중복성을 상당 부분 드러내기도 했어요.
이 연구는 신경망의 자기 조직화 및 학습 메커니즘에 대한 새로운 관점을 제시하고, 물리적으로 영감을 받은 심층 학습 시스템을 구축하는 대체 경로를 제공할 수 있을 것으로 기대돼요.