연구진은 훈련 데이터의 고유한 대칭성이 신경망 훈련 과정에서 보존되는 물리량으로 이어지는지 조사했어요. 분석적이고 비다항식 손실 함수를 사용하는 경우, 데이터 대칭성이 추가적인 운동 적분을 유도하지 않는다는 것을 증명했어요. 평균 제곱 오차(MSE) 손실의 경우, 데이터 증강을 통해 추가적인 보존량을 얻을 수 있는 경우도 있어요. 텐서화 신경망 프레임워크를 활용하여 이 현상을 설명했어요.
텐서화 신경망은 파라미터와 입력에 대한 의존성을 중간 표현을 사용하여 분리할 수 있는 아키텍처의 한 종류예요. 선형 및 다항식 네트워크뿐만 아니라 Lightning Attention도 포함돼요. 연구 결과는 데이터 대칭성과 신경망 훈련 간의 관계에 대한 새로운 통찰력을 제공하며, 향후 신경망 설계 및 훈련에 활용될 수 있을 것으로 기대돼요.
본 연구는 데이터 대칭성이 신경망의 동작에 미치는 영향을 이해하는 데 중요한 기여를 하며, 보다 효율적이고 신뢰할 수 있는 인공지능 시스템 개발에 도움이 될 수 있을 것으로 보입니다.