연구진이 디퓨전 트랜스포머(DiT)의 지역 제어를 위한 '어피어런스 포인터'라는 새로운 기술을 선보였습니다. 어피어런스 포인터는 텍스트나 이미지 입력을 사용자가 지정한 마스크와 정렬하여 DiT가 정확한 위치에 정확한 시각적 단서를 적용하도록 안내합니다.
어피어런스 포인터는 지역 대응 네트워크를 통해 생성되고 공간 집계 메커니즘을 통해 개선되어, 모델이 토큰 로드를 크게 늘리지 않고도 여러 지역 설명을 처리할 수 있도록 합니다.
새로운 기술은 기존 방식보다 성능이 뛰어나며, 훈련 없이도 DiT에 지역 제어를 적용할 수 있는 간단하고 확장 가능한 방법을 제공합니다.