线性注意力技术路线详解博客发布，附全CPU可运行复刻

罗西的思考发布系列博客，讲解线性注意力（Linear Attention、DeltaNet、GLA、Gated DeltaNet、KDA）技术路线，并给出全 CPU 可运行的复刻实现。 线性注意力用核函数加递推状态，把注意力复杂度从 O(T²) 降到 O(T)：历史信息被压缩进固定大小的状态矩阵 S，不再随上下文增长保存完整 KV Cache。 博客称每个主要组件都配有可直接运行的 Gradio demo，无需 GPU；复刻仅限全 CPU 场景，不涉及 GPU、大规模训练和硬件。文中文件行号基于本地源码快照，源码后续变化时可能移动。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。