연구진은 희소 오토인코더(SAE)의 기능 안정성을 분석하여, 훈련 과정에서 유사한 기능이 재현될 확률을 측정했어요.
안정적인 기능은 대부분의 재구성 및 예측 관련 정보를 담고 있는 반면, 불안정한 기능은 표면적인 트리거에 의해 지배되며 예측에 미미한 영향을 줘요.
불안정한 기능은 개별적으로 재현 불가능하지만, 공유된 활성화 공간 내의 재현 가능한 저차원 하위 공간에 집중되어 있어, 시드 의존성은 단순한 노이즈가 아닌 기본 벡터의 모호성을 반영하는 것으로 보입니다.
연구진은 시드별 고유 기능을 통합하여 더 안정적인 SAE를 구축하고, 설명된 분산을 유지했어요.