跳到正文
博客园· 罗西的思考·· 15 天前AI 评分46

【轻量化复刻大模型 / KIMI K3】KDA Serving 基础设施 — 设计与实现

【轻量化复刻大模型 / KIMI K3】KDA Serving 基础设施 — 设计 / 实现 - 罗西的思考

AI 导读

作者轻量化复刻 KIMI K3,设计并实现了基于 Kimi Delta Attention(KDA)的 serving 基础设施。KDA 用固定尺寸状态矩阵替代逐 token 的 KV cache,使 1M 上下文可负担,但也带来状态跨段不可加、无法截断回滚等挑战。项目通过统一页池、双粒度前缀缓存、KCP 前缀扫描与 Fleet 层调度解决这些问题,全 CPU 复刻并提供 Gradio demo。

来源:博客园 · cnblogs.com