연구진은 이미지 생성에 사용되는 디퓨전 트랜스포머(DiT)에서 나타나는 이상 토큰 현상을 분석했어요. 기존 비전 트랜스포머(ViT)에서 발견된 고노름 토큰 현상이 생성 모델에서도 나타나며, 이는 로컬 패치 의미 손상과 관련이 있음을 확인했어요.
이상 토큰 문제를 해결하기 위해, 연구진은 이중 단계 레지스터(DSR)라는 새로운 개입 방법을 제안했는데, 이는 사전 훈련된 ViT 인코더와 DiT의 구성 요소 모두에 적용돼요.
ImageNet 데이터셋과 대규모 텍스트-이미지 생성 실험에서 DSR은 이상 현상을 줄이고 생성 품질을 향상시키는 효과를 보였으며, DiT 성능 향상을 위한 중요한 요소임을 강조했어요.