博客园· 罗西的思考·· 3 小时前AI 评分46
【轻量化复刻大模型】Linear Attention 与 Sparse Attention 梳理
【轻量化复刻大模型】Linear Attention 与 Sparse Attention 梳理 - 罗西的思考
AI 导读
本文开启"轻量化复刻大模型"系列，计划全 CPU 复刻 KIMI K3、DeepSeek V4 等模型，并梳理 Linear Attention 与 Sparse Attention 两条注意力压缩路线。
来源：博客园 · cnblogs.com