[논문리뷰] FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness (NeurIPS 2022)

July 13, 2026

attention의 병목을 FLOPs가 아닌 HBM 접근으로 규정하고 tiling·recomputation으로 O(N) 메모리의 exact attention을 구현한 FlashAttention 논문 리뷰

FlashAttention attention Transformer GPU tiling