MaskAlign은 디퓨전 모델 학습 속도를 높이기 위해 토큰 서브셋 표현 정렬 방법을 제안합니다. 기존 방식이 모든 토큰에 영향을 미치는 문제를 해결하기 위해, 학습 과정에서 무작위로 선택된 토큰 집합에만 정렬을 적용합니다.
토큰 정보 손실을 막기 위해, 마스크하기 전에 토큰 간 정보를 공유하는 가벼운 사전 마스크 토큰 믹싱 블록을 도입했습니다. 이를 통해 모델은 토큰 서브셋 변화에 더 안정적인 정렬 행동을 보입니다.
MaskAlign은 디퓨전 모델 학습의 효율성을 높이고, 모델이 특정 토큰에 과도하게 의존하는 것을 방지하여 생성 품질을 향상시키는 데 기여합니다.