FlashAttention 详解：从 GPU 硬件、普通 Attention 到分块计算与 Online Softmax

本文详解 FlashAttention 的核心原理，它通过分块计算与 online softmax 在 GPU 片上存储中完成注意力，避免把完整的 N×N 中间矩阵 S 和 P 写入 HBM，主要减少显存读写而非矩阵乘法计算量。