博客园· 罗西的思考·2026-10-31 15:45· 4 小时前AI 评分49

【轻量化复刻大模型】线性注意力（Linear Attention）

【轻量化复刻大模型】线性注意力（Linear Attention） - 罗西的思考

AI 导读

线性注意力用核函数 + 递推状态把注意力复杂度从 O(T²) 降到 O(T)，将历史信息压缩进固定大小的状态矩阵 S，不再随上下文增长保存完整 KV Cache。

来源：博客园 · cnblogs.com