博客园· 罗西的思考·· 15 天前AI 评分46
【轻量化复刻大模型 / KIMI K3】KDA Serving 基础设施 — 设计与实现
【轻量化复刻大模型 / KIMI K3】KDA Serving 基础设施 — 设计 / 实现 - 罗西的思考
AI 导读
作者轻量化复刻 KIMI K3,设计并实现了基于 Kimi Delta Attention(KDA)的 serving 基础设施。KDA 用固定尺寸状态矩阵替代逐 token 的 KV cache,使 1M 上下文可负担,但也带来状态跨段不可加、无法截断回滚等挑战。项目通过统一页池、双粒度前缀缓存、KCP 前缀扫描与 Fleet 层调度解决这些问题,全 CPU 复刻并提供 Gradio demo。
来源:博客园 · cnblogs.com