연구진은 에너지 제약이 있는 물리적 기판에서 트랜스포머 어텐션 문제를 해결하기 위해 쿠라모토 동기화 역학을 활용했어요. 쿠라모토 동기화는 전기, 기계, 초전도 발진기 배열 등 다양한 물리 시스템에서 나타나는 현상이에요.
고정된 쿼리 발진기 어텐션은 소프트맥스의 산술 연산을 기울기 흐름의 평형화로 대체하며, 지수 함수 연산 없이 어텐션 가중치를 인코딩해요.
최소 하드웨어 구성에서 발진기 어텐션은 키워드 스포팅에서 1.00pp, 주어-동사 일치에서 5.27pp의 성능 향상을 보였고, 소프트맥스에서 실패하는 경우도 있었던 반면 발진기 어텐션은 실패가 없었어요.
연구의 주된 목표는 소프트웨어에서 소프트맥스를 대체하는 것이 아니라 물리적 기판에서 정확한 어텐션을 위한 수학적으로 뒷받침된 청사진을 제공하는 것이에요.