FourierQK 연구는 캐릭터 단위 언어 모델링에서 쿼리-키(Q/K) 투영의 스펙트럴 전처리가 트랜스포머 어텐션 성능을 크게 향상시킨다는 것을 밝혔습니다.
TinyShakespeare 데이터셋에서 단일 학습 주파수를 사용했을 때 검증 손실이 0.608로 감소하며, 기존 어텐션 대비 79% 성능 향상을 기록했습니다.
학습된 주파수는 단락, 서브 단락, 구, 단어 규모에 해당하는 거의 기하급수적인 다중 스케일 순서를 갖습니다.
본 연구는 어텐션 구조를 보존하면서 Q/K 투영에만 스펙트럴 전처리를 적용하는 방식으로, FNet과 차별화됩니다.