연구진은 트랜스포머의 피드 포워드(FFN) 레이어가 어텐션이 수집한 차이를 구별하지만, 무엇을 계산하는지 설명하지 않는다는 점에 주목했어요.
NC-FFN은 시그모이드 경계 [0,1] 멤버십에 대한 명시적 퍼지 집합 연산으로, 기존 FFN보다 파라미터 효율성이 높으며, 125M 규모에서 GELU의 성능에 버금가는 결과를 보여줘요.
연구 결과, 문법적 결함은 양자화기 영역에 집중되어 있으며, 이를 해결하기 위해 시퀀스 양자화기 블록을 도입하여 초기 에폭에서 결함을 회복하고 LAMBADA 테스트에서 소폭 우위를 점했어요.
FFN은 이제 읽을 수 있으며, 구조가 유지되고 깊이로 이동하며, 양자화기는 끈적거림을 학습하지 않고, 의미 레이어에서 사전에 학습 없이 문법 라이선스 감지기로 작동해요.