연구진이 Top-k 희소 오토인코더(SAE)의 해석력을 높이는 새로운 희소 정규화 기법을 선보였습니다.
새로운 기법은 선택되지 않은 유닛에 $\ell_1$ 페널티를 적용하거나, $\ell_1/\ell_2$ 비율 페널티를 사용하여 코드를 더 적은 유닛에 집중시킵니다.
실험 결과, 두 가지 정규화 기법 모두 재구성 품질 저하 없이 단일 의미 특징(monosemanticity)을 향상시켰습니다.
연구는 하드웨어적 희소성과 소프트웨어적 희소 정규화가 상호 배타적이지 않다는 것을 보여줍니다.