연구진은 딥러닝 모델의 고차원 학습을 돕는 구조적 선행 규칙을 밝히기 위해 Information Filtering Networks(IFN)와 Homological Neural Networks(HNN)를 결합했어요. IFN은 제약 조건 기반 정보 최대화를 통해 희소한 의존성 구조를 추출하고, HNN은 이를 고정 배선 희소 신경 그래프로 매핑하는 역할을 해요.
HNN은 표준 DNN보다 훨씬 희소하며, 최소한의 하이퍼파라미터 튜닝만으로도 합성 데이터에서 희소한 계층 구조를 복원하고 차원이 증가함에 따라 안정적인 성능을 유지해요.
실제 데이터셋에서도 HNN은 표준 DNN보다 더 적은 파라미터로 성능을 능가하며, 분산이 낮고 하이퍼파라미터에 대한 민감도가 낮다는 장점을 보여줘요.