기하학적 딥러닝(GDL)은 모델 아키텍처에 직접적인 불변성을 구축하여, 데이터에서 불변성을 학습하는 대신 회전, 순열 등과 같은 기하학적 특성을 반영할 수 있습니다.
GDL을 활용하면 모델이 특정 대칭을 깨지 못하도록 설계하여, 수많은 예시 없이도 불변성을 학습할 수 있습니다.
현재의 대규모 사전 훈련은 모델 아키텍처가 적절한 귀납적 편향을 갖추지 못했기 때문일 수 있으며, 기하학적 구조를 올바르게 설계하면 대규모 데이터셋의 필요성이 줄어들 수 있습니다.