연구진이 디퓨전 트랜스포머(DiT)의 정밀한 영역 제어를 위해 '어피어런스 포인터'라는 새로운 토큰을 제안했어요. 어피어런스 포인터는 텍스트나 이미지 입력을 사용자가 지정한 마스크와 정렬하여 DiT가 올바른 위치에 정확한 시각적 단서를 적용하도록 유도해요.
어피어런스 포인터는 영역 대응 네트워크를 통해 생성되고 공간 집계 메커니즘을 통해 개선되어 여러 영역 설명을 추가해도 토큰 부담이 크지 않아요. 기존 방식 대비 성능을 능가하며, 모델 재학습 없이 다중 모드 제어가 가능해요.
이번 연구는 DiT의 다중 모드 인터페이스를 처음으로 제시하며, 생성 이미지 합성에서 정밀하고 영역 인식적인 다중 모드 안내를 위한 간단하고 확장 가능한 방법을 제공해요.