博客园· 凌杰·· 10 天前AI 评分36
AI 学习笔记:Transformer 架构详解
AI 学习笔记:Transformer 架构详解 - 凌杰
AI 导读
这篇学习笔记详细解析了 Transformer 架构的工作原理,说明其如何以自注意力机制替代 RNN/LSTM 的循环结构来处理序列数据。笔记依次讲解了缩放点积注意力、多头注意力、位置编码与整体架构,并梳理了 BERT、GPT、T5 等变体的分化及 Decoder-only 架构成为现代 LLM 事实标准的原因。
来源:博客园 · cnblogs.com