연구진은 그래프 디노이징 작업에서 선형 어텐션이 최적해가 아니며 평균적인 스펙트럼 필터만 학습한다는 것을 밝혔습니다.
Spectral Attention을 제안하여 입력 그래프 스펙트럼을 직접 활용하고 스펙트럼 다양성에 따라 선형 어텐션보다 성능이 우수함을 증명했습니다.
Graph Convolutional Attention (GCA)를 개발하여 그래프 필터링된 쿼리와 키를 통해 스펙트럼 디노이징을 구현하고, 합성 및 실제 데이터셋에서 그래프 디노이징과 디퓨전을 개선했습니다.
GCA는 기존 그래프 트랜스포머 성능에 맞춰 구조적 특징을 계산하지 않고도 작동하며, PEARL 위치 인코딩과 결합하여 속도 저하 없이 추론을 가속화합니다.