연구진이 디퓨전 언어 모델(dLLM) 추론 속도를 높이는 새로운 방법인 PulseCol을 제안했어요. 기존의 블록 스파스 방식보다 더 세밀한 컬럼 스파스 구조를 사용해 성능 저하 없이 더 높은 수준의 스파스화를 달성했어요.
PulseCol은 초기 디노이징 단계에서 스파스 패턴을 찾아 재사용하고, 중간 단계에서 주기적으로 업데이트하여 디노이징 과정 동안 변화하는 스파스 어텐션 패턴을 추적해요.
실험 결과, PulseCol은 기존 스파스 어텐션 방식보다 더 높은 스파스화 비율과 빠른 속도 향상을 보여줬으며, 최적화된 GPU 커널을 통해 FlashAttention 대비 최대 1.95배의 속도 향상을 달성했어요.