본 논문은 디퓨전 언어 모델(DLM)의 장문 시퀀스 처리에 어려움을 겪는 문제를 해결하기 위해 블록 근사 희소 어텐션(BA-Att) 프레임워크를 제안합니다. BA-Att는 다운샘플링된 공간에서 중요한 영역을 식별하여 기존 방식의 불안정성을 개선합니다. 실험 결과, BA-Att는 FlashAttention 대비 최대 6.95배 빠른 속도를 보이며, 50% 희소성에서도 풀 어텐션 성능을 유지했습니다.
BA-Att는 이론적 분석을 통해 사전 다운샘플링과 사후 다운샘플링 어텐션 맵 간의 근사 오차를 정의하고, 이를 기반으로 효율적인 정규화 모듈과 보정 기법을 도입했습니다. 이를 통해 계산 복잡도를 줄이고 성능을 향상시켰습니다.
본 연구는 언어 모델, 멀티모달 모델, 비디오 생성 모델 등 다양한 분야에서 BA-Att의 효율성과 일반화 성능을 입증하며, DLM의 장문 컨텍스트 모델링 가능성을 높였습니다.