NoVibeCoding 사용자가 FlashAttention 이론적 기초를 다룬 튜토리얼 시리즈를 시작했어요. 연관성 있는 연산으로 FlashAttention을 재해석하여 GPU 스케줄링 최적화에 활용하는 현대적인 대수 체계를 설명해요. 기존 방식보다 강력한 접근법을 제시하며, 넘침 경계, 오차 한계, 타일링 오류 증폭 방지 원리도 다뤄요.
Safe softmax, Welford 분산, FlashAttention이 동일한 비밀 연산이라는 점을 강조하며, 최대 재조정 결합이 연관성을 깨지 않는 이유를 설명해요. Bird의 제3 동형 이성질체 정리를 활용하여 루프 연산의 연관성을 테스트하는 방법도 소개해요.
FlashAttention-2 및 Triton 커널에서 볼 수 있는 qk_scale 값을 처음부터 유도하고, 수치 분석을 통해 오버플로 경계와 오차 한계를 분석하여 타일링이 오류를 증폭하지 않음을 보여줘요.