연구진은 Transformer의 어텐션 모듈을 나다라야-워슨 회귀로 해석하고, 이를 개선한 Cubit 아키텍처를 제안했습니다. Cubit은 커널 리지 회귀(KRR)를 활용하여 토큰 간 유사성을 계산하고 값을 집계합니다. 훈련 안정성을 위해 Limited-Range Rescale(LRR) 기법을 추가하여 값 레이어를 제한된 범위 내에서 조정했습니다.
Cubit은 나다라야-워슨 회귀에 기반한 기존 Transformer보다 수학적 기반이 더 강력하며, 장문 시퀀스 모델링 능력이 뛰어난 것으로 나타났습니다. 특히, 훈련 시퀀스 길이가 길어질수록 Transformer 대비 성능 향상 폭이 커지는 경향을 보였습니다.
연구 결과는 arXiv에 발표되었으며, Cubit이 Transformer의 차세대 아키텍처로 활용될 가능성을 제시합니다.