연구진은 CIFAR10 데이터셋에서 역전파(BP)와 피드백 정렬(FA) 모델의 차이를 분석하여 FA 모델의 오류 신호가 낮은 랭크를 가지며, 파라미터 공간 탐색을 제한한다는 사실을 발견했어요.
FA 모델의 효과적인 차원을 늘리기 위해 가중치 업데이트를 정규화하는 Muon과 활성화 정규화 기법을 적용했는데, ResNet-18 모델로 CIFAR100에서 정확도가 9% 향상되는 등 성능이 개선됐어요.
본 연구는 낮은 차원의 경향성 역학이 FA의 확장성을 저해하는 주요 요인임을 밝히고, 더 높은 차원의 업데이트 기하 유도가 역전파의 대안을 확장하는 유망한 방법임을 제시해요.