연구진은 ReLU 네트워크의 가중치 역학을 분석해 가중치 기반 계층별 Gram 메트릭의 계층 구조를 발견했어요. 단일 숨겨진 계층에서는 활성화 역학을 지배하는 집단 커널이 입력-기하학적 행렬과 동적 공동 활성화 행렬로 분해돼요. 깊이가 세 개 이상인 네트워크에서는 계층 간 정보 전달을 중재하는 가중치 기반 Gram 연산자 계층 구조가 필요해요.
이 연구는 가중치 공간 역학을 분석하는 대신, 훈련 집합 공간에서 정의된 필드를 기반으로 하는 집단 역학을 연구하는 데 목표를 두고 있어요. 이를 통해 ReLU 네트워크의 가중치 변수를 활성화 역학에서 제거할 수 있어요.
연구 결과, 깊이가 깊어질수록 계층별 커널 구조가 유지되지만, 닫힘을 위해서는 가중치 기반 Gram 연산자 계층 구조가 필요하며, 이는 계층 간 정보 전달을 중재하는 역할을 해요.