연구진이 비디오 생성 시 어텐션 병목 현상을 해결하기 위해 FVAttn이라는 새로운 희소 어텐션 시스템을 개발했어요. 이 시스템은 Top-p 라우팅, 안전 마루, 비디오 인지 블록 구성으로 희소 라우팅 프런트엔드를 구성하고 런타임에 마스크를 수정해요.
FVAttn은 P2P 통신을 통해 과도한 헤드를 이동하고, 잔여 슬랙을 채워 스케줄링 및 마이그레이션 오버헤드를 숨겨 어텐션 속도를 4.41배 향상시켰어요.
Step-distilled Wan2.2 I2V에서 평균 로드 불균형을 1.34에서 1.08로 줄이고, DiT 추론 속도를 2.02~2.11배 향상시키며 경쟁력 있는 비디오 품질을 유지했어요.