Transformer 注意力机制详解：从 Q/K/V 到多头注意力

注意力机制的本质是让模型动态调整对特征的关注权重，Transformer 借此抛弃 RNN 序列递归，实现全局并行并缓解长距离依赖。其核心是将输入投影为 Query、Key、Value，经缩放点积与 Softmax 软寻址后对 Value 加权聚合。Multi-Head Attention 在多个子空间并行捕捉不同关系，但存在浅层头退化、深层权重稀疏及参数量大等局限。