跳到正文
博客园· 罗西的思考·· 12 天前AI 评分48

【轻量化复刻大模型 / KIMI K3】Gated MLA 梳理

【轻量化复刻大模型 / KIMI K3】Gated MLA 梳理 - 罗西的思考

AI 导读

KIMI K3 的 Gated MLA(门控多头潜在注意力)在 DeepSeek-V2 的 MLA 基础上引入 NoPE 与全秩输出门(Eq.7),将 KV cache 从 O(T·H·D) 压缩至 O(T·kv_lora_rank)。

来源:博客园 · cnblogs.com