연구진은 BERT 모델의 내부 작동 방식을 이해하기 위해 새로운 프레임워크인 Activation Flow Network (AFN)를 개발했어요. AFN은 Layer 8의 숨겨진 상태 표현의 활성화 강도를 측정하여 토큰 수준의 중요도를 정량화합니다. 실험 결과, 의미 있는 단어들이 높은 활성화 값을 가지며, 구조적인 단어들은 상대적으로 낮은 활성화 값을 가졌어요. 이는 Layer 8이 구조적, 의미적 정보를 처리하는 핵심 영역임을 시사합니다.