연구진이 트랜스포머를 구성하는 연산자를 명확하게 정의하는 방법을 제시했어요. 이 방법은 각 연산자가 퍼지 집합 연산처럼 읽히도록 설계되었지만, 학습 과정에서 유지해야 해요.
연산자를 날카롭게 만드는 처벌은 오히려 연산자를 고정된 값으로 만들고, 이를 해결하기 위해 채널별 분산 바닥을 설정하는 방법을 제안했어요. 이 지표를 손실 함수로 사용하면 가독성과 품질을 모두 회복할 수 있어요.
학습된 단위별 비율은 기존 연구의 예약된 GELU 파티션을 대체하며, 모델은 대부분의 연산을 명확한 연산자를 통해 처리해요.
결과적으로, 연구진은 가장 읽기 쉬운 트랜스포머를 구축했으며, 피드포워드 연산자와 어텐션 값 채널의 상당 부분이 명확하고 문맥에 맞는 감지기로 작동하며, 깊은 레이어에서 가독성이 크게 향상됐어요.