연구진이 함수 공간 매핑을 위한 새로운 방법인 Functional Attention을 제안했어요. 이 방법은 어댑티브 베이스 간의 함수적 대응 관계를 활용하여 기존 토큰 기반 어텐션의 한계를 극복해요. 실험 결과, PDE 해결, 3D 분할, 회귀 등 다양한 작업에서 기존 모델과 유사한 성능을 보이면서도 해상도 불변성을 확보했어요.
Functional Attention은 기하 함수 매핑에서 영감을 받아 소프트맥스 어피니티를 구조화된 선형 연산자로 대체하여 전역 의존성을 명시적으로 포착하는 컴팩트한 표현을 제공해요. 프로젝트 페이지는 GitHub에서 확인할 수 있어요.
기존 토큰 기반 어텐션 방식은 연속적인 필드를 이산적인 토큰으로 취급하고 전역적인 함수 구조를 고려하지 못하는 한계가 있었어요. Functional Attention은 이러한 문제를 해결하고 다양한 작업에서 뛰어난 성능을 보일 것으로 기대돼요.