RIFT 연구팀이 RTX GPU에서 FlashAttention-3/4 최적화 효과를 분석한 결과, 기존 FA-2 수준에 머무르는 것으로 확인됐어요.
RTX GPU는 WGMMA, TMA, Warp specialization 등 FA-3/4의 주요 최적화 기술을 지원하지 않아 성능 향상에 한계가 있어요.
연구 결과, FA-2가 RTX GPU에서의 최대 성능 한계이며, 더 큰 성능 향상을 위해서는 정확도 손실을 감수해야 할 것으로 보입니다.
전체 분석 결과는 RIFT 연구소 블로그와 GitHub에서 확인할 수 있어요.