연구진이 비디오 생성 시 발생하는 어텐션 병목 현상 해결을 위해 FVAttn(Adaptive Sparse Attention with Runtime Load Balancing)을 제안했어요. FVAttn은 적응형 Top-$p$ 라우팅과 실시간 부하 균형을 통해 분산 실행 효율성을 높여요.
기존 방식 대비 평균 부하 불균형을 1.34에서 1.08로 줄이고, 어텐션 속도를 4.41배 향상시켰어요. 또한 DiT 추론 속도는 2.02~2.11배 개선되었으며, 비디오 품질도 유지했어요.
FVAttn은 학습이 필요 없는 희소 어텐션 시스템으로, P2P 통신을 통해 무거운 헤드를 이동하고, 남은 공간을 활용하여 추가적인 고가치 블록을 채워 넣어 성능을 최적화했어요.