연구진은 언어 모델 표현을 연구하는 데 사용되는 기존 디코딩 프로브 방식의 한계점을 개선하기 위해 새로운 인코딩 프로브 방식을 제시했어요.
인코딩 프로브는 모델의 내부 표현을 재구성하는 방식으로, 음향, 음성, 구문, 어휘, 화자 정보 등 다양한 특징 집합을 활용해 텍스트와 음성 변환기 모델을 평가했어요.
연구 결과, 화자 관련 효과는 학습 목표와 데이터셋에 따라 크게 다르지만, 구문과 어휘 특징은 독립적으로 재구성에 기여하는 것으로 나타났어요.