연구진은 어텐션 롤아웃을 활용하여 트랜스포머 내부의 조직 방식을 분석하는 '내부 해석 가능성'이라는 새로운 관점을 제시했어요.
어텐션 롤아웃을 행렬 연산으로 해석하고, 수축 이론을 적용하여 롤아웃 연산자의 구조를 파악했어요.
대사체 나이 예측 트랜스포머 모델에서 깊이 증가함에 따라 롤아웃 수축이 강화되는 것을 확인했어요.
PCA, GradientExplainer 등 다른 해석 기법과 비교했을 때 일부 변수에서 일치하는 경향을 보였지만, 전체 순위에서는 큰 차이를 보였어요.