跳到正文
博客园· AI-Frontiers·· 1 天前AI 评分43

Attention 演进路线:5 大阶段,11 篇奠基论文

Attention 演进路线:5 大阶段,11 篇奠基论文 - AI-Frontiers

AI 导读

这篇文章将注意力机制十余年的技术演进梳理为 5 大阶段,并汇总了 11 篇奠基论文及其核心突破。脉络从 RNN 时代的软寻址起源(Bahdanau Attention、Luong Attention),到 2017 年 Transformer 以多头自注意力抛弃循环结构实现并行训练。

来源:博客园 · cnblogs.com