연구진이 장문 컨텍스트 처리에 어려움을 겪는 트랜스포머의 단점을 극복하기 위해 새로운 메커니즘 ResonatorLM을 제안했어요. ResonatorLM은 어텐션 대신 공명장 혼합을 사용해 토큰 시퀀스를 1차원 잠재장으로 처리해요. WikiText 데이터셋에서 ResonatorLM은 기존 트랜스포머 대비 정확도가 61.31%로 향상됐고, 디코딩 속도는 최대 6.47배 빨라졌어요.
ResonatorLM은 기존 네트워크 아키텍처에 적용되었으며, 32K 토큰 환경에서 트랜스포머 대비 디코딩 속도가 6.47배 향상되는 효과를 보였어요. 600만 토큰 규모의 데이터셋에서 훈련 및 프리필 속도 향상도 확인됐어요.
ResonatorLM은 토큰 시퀀스를 단일, 구동되는 1차원 잠재장으로 취급하고 어텐션 점곱을 감쇠 공명기의 인과 함수로 대체하는 방식으로 작동해요.