연구진은 동일한 사전 훈련된 인코더, 데이터, 손실 함수로 미세 조정된 저자 속성 모델이 스코어링 메커니즘에 따라 성능이 최대 4배까지 차이 나는 것을 확인했어요.
메커니즘 해석 도구를 사용한 결과, 단어 길이, 구두점 밀도, 기능어 빈도와 같은 스타일적 특징이 모든 모델의 모든 레이어에서 동일하게 이용 가능하며, 이는 표현 품질의 차이가 아니라는 것을 밝혀냈어요.
스코어링 방식에 따라 인코더가 저자 정보를 통합하는 레이어가 달라지며, 평균 풀링은 초중기 레이어로 통합을 강제하고, 후기 상호 작용은 후기 레이어로 지연시킨다는 것을 발견했어요.