연구진은 디퓨전 트랜스포머(DiT) 내부 작동 방식에 대한 해석 프레임워크를 제시했어요. 프롬프트와 이미지 토큰을 함께 처리하는 DiT에서 템플릿 토큰이 이미지-텍스트 주의의 중심이 되는 것을 발견했어요.
템플릿 토큰은 객체 정체성을 유지하며, 프롬프트 의미가 이미지 잠재 공간에 주입된 후 템플릿 토큰으로 다시 읽히는 방식으로 작동해요.
연구진은 템플릿 토큰에 대한 주의 헤드를 제거하는 새로운 가지치기 규칙을 개발했는데, FLOPs를 20% 줄이고 GenEval 점수를 1.4점만 손실했어요.