희소 오토인코더(SAE)는 신경망 표현에서 해석 가능한 특징을 추출하는 데 널리 사용되지만, 개념이 독립적인 선형 방향에 해당한다는 암묵적인 가정을 하고 있어요.
연구에 따르면 SAE는 전역적으로 또는 국부적으로 개념 다양체를 포착할 수 있으며, 전역적 방식은 선형 스팬에 다양체가 포함되도록 원자 그룹을 할당하고, 국부적 방식은 특징을 통해 기하학적 영역을 타일링하는 방식이에요.
실험 결과, SAE는 연속적인 구조를 최적하게 복구하지 못하고, 전역 부분공간과 국부 타일링 솔루션을 혼합하여 '희석'이라는 단편화된 영역을 형성하는 것을 확인했어요.