博客园· 罗西的思考·2026-11-09 20:29· 12 天前AI 评分48【轻量化复刻大模型 / KIMI K3】Gated MLA 梳理【轻量化复刻大模型 / KIMI K3】Gated MLA 梳理 - 罗西的思考AI 导读KIMI K3 的 Gated MLA(门控多头潜在注意力)在 DeepSeek-V2 的 MLA 基础上引入 NoPE 与全秩输出门(Eq.7),将 KV cache 从 O(T·H·D) 压缩至 O(T·kv_lora_rank)。来源:博客园 · cnblogs.comKimi / 月之暗面推理能力开源生态教程实践#教程/实践#推理#开源生态#DeepSeek#GitHub#arXiv查看事件全部后续