연구진은 모델의 의미 있는 부분들을 분석하기 위해 두 부분이 동일한 연산을 구현하는지 확인하는 방법을 제시했어요. 기존 유사성 측정 방법은 환경에 따라 결과가 달라지거나, 가중치 공간의 대칭성을 고려하지 못하는 문제가 있었어요.
연구진은 텐서 기반 모델에 대해 가중치 기반의 텐서 유사성이라는 새로운 측정법을 도입했는데, 이는 가중치 공간의 대칭성에 영향을 받지 않으며, 전역적인 기능적 동등성을 파악하고 레이어 간의 메커니즘을 고려해요.
새로운 측정법은 grokking, 백도어 삽입과 같은 기능적 학습 동역학을 기존 방법보다 정확하게 추적하며, 유사성을 측정하고 충실성을 검증하는 문제를 경험적 근사 대신 대수적 문제로 해결할 수 있도록 돕습니다.