연구진은 디퓨전 트랜스포머(DiT)의 높은 계산 비용과 자원 소비 문제를 해결하기 위해 사전 학습 후 가지치기 방법인 DiT-Pruning을 제안했어요.
기존 LLM 가지치기 방법은 DiT의 구조적 특성 때문에 적용하기 어렵고, 가중치 중요도 측정 시 오차를 증폭시켜 성능 저하를 유발했어요.
DiT-Pruning은 에너지 기반 관점에서 가중치와 활성화의 기여도를 균형 있게 반영하는 새로운 중요도 지표와 클러스터링 기반의 가지치기 방식을 도입하여 이미지 품질을 유지했어요.