연구진은 ViT 기반 의미 분할에서 토큰 압축과 구조적 가지치기 방법을 비교 분석했어요. 토큰 압축은 적당한 압축률에서는 효과적이지만, 과도한 압축 시 성능이 급격히 저하되는 반면, 구조적 가지치기는 높은 압축률에서도 안정적인 성능을 유지해요.
ADE20K와 Cityscapes 데이터셋, 그리고 손상된 데이터셋(ADE20K-C, Cityscapes-C)에서 FLOPs를 맞춘 실험을 진행한 결과, 토큰 압축은 정보 손실로 인해 심각한 성능 저하를 겪는 반면, 구조적 가지치기는 비교적 안정적인 성능을 보였어요.
연구진은 토큰 압축과 구조적 가지치기를 결합한 '가지치기 후 병합' 파이프라인을 제안하여, 높은 압축률에서도 더 나은 정확도와 안정성을 달성하는 방법을 제시했어요. 제안된 방법은 GitHub에서 확인할 수 있어요.
ViT 기반 의미 분할을 위한 실용적인 솔루션을 제공하며, 배포 환경에 최적화된 성능을 목표로 해요.