본 연구에서는 이미지 생성에 주로 사용되는 디퓨전 모델의 노이즈 제거 과정에 담긴 시각적 정보를 활용하여 텍스트 기반 의미론적 세분화 및 개방형 어휘 세분화를 수행할 수 있음을 보여주었어요.
DiGSeg라는 새로운 프레임워크를 통해 사전 훈련된 디퓨전 모델을 통합 세분화 프레임워크로 재활용하며, 이미지와 세분화 마스크를 잠재 공간에 인코딩하고 이를 디퓨전 U-Net의 조건부 신호로 결합했어요.
표준 세분화 벤치마크에서 뛰어난 성능을 보였을 뿐만 아니라 의료, 원격 감지, 농업 등 다양한 분야에서 뛰어난 범용성을 입증하며, 디퓨전 모델이 시각적 이해를 위한 도구로 활용될 수 있음을 시사했어요.