연구진은 독립적으로 훈련된 BERT 모델에서 교차 시드 보편적 특징을 추출하기 위해 프로크루스테스 조건부 Joint End-to-end Top-K 희소 오토인코더(SAE)를 개발했어요.
프로크루스테스 회전을 통해 시드 활성화 공간을 정렬하고 Top-K 희소성, 엔드투엔드 다운스트림 최적화, 부가적인 데드-특징 부활 손실을 결합했어요.
SST-2, Stanford Politeness, TweetEval Emotion 세 데이터셋에서 교차 시드 간 피어슨 상관 계수가 0.70 이상으로, 기존 방식보다 보편적인 특징을 추출하는 데 성공했어요.