연구진은 동일한 사전 훈련된 인코더, 데이터, 손실 함수로 미세 조정된 저작권 귀속 모델이라도 스코어링 메커니즘에 따라 성능이 최대 4배까지 차이날 수 있음을 확인했어요.
메커니즘 해석 도구를 사용한 결과, 단어 길이, 구두점 밀도, 기능어 빈도와 같은 스타일적 특징이 모든 모델의 모든 레이어에서 동일하게 제공되기 때문에 성능 차이는 표현 품질에서 비롯된 것이 아니었어요.
스코어링 방식에 따라 인코더가 저작권 신호를 통합하는 위치가 결정되며, 평균 풀링은 초·중간 레이어로 통합을 강제하고, 늦은 상호 작용은 후기 레이어로 지연시킨다는 사실을 밝혀냈어요.