연구진이 슈퍼픽셀과 ViT를 융합한 새로운 프레임워크 Superpixel Transformers (SPT)를 제안했어요. SPT는 기존 SICGAT 모델과 ViT를 일반화하여 다양한 슈퍼픽셀 전략을 지원합니다. CIFAR10, FashionMNIST, Imagenette 데이터셋 테스트 결과, SPT는 기존 GNN 방식보다 우수한 성능을 냈고 ViT와도 경쟁력을 보여줬어요.
SPT는 SICGAT의 정보 손실 문제를 해결하고 제한된 그래프 연결성을 통해 ViT 성능을 향상시켰어요. 다차원 사인-코사인 위치 인코딩과 슈퍼픽셀 모양·색상 정보를 반영한 데이터 구조를 도입했습니다.
연구 결과, 이미지는 16x16 크기의 슈퍼픽셀로도 가치가 있다는 점을 입증했어요. SPT는 슈퍼픽셀 기반 모델과 트랜스포머 모델 간의 간극을 좁히고 하이브리드 어텐션 프레임워크의 혁신을 위한 길을 열었습니다.