掘金· blackappleD·· 2 小时前精选AI 评分78
DeepSeek 开源推理框架 DeepInfer：KVCache 存三天、投机解码少验 30% 是怎么做到的
AI 导读
10 月 20 日，DeepSeek 将线上运行 V4.1 Flash 的推理框架 DeepInfer 以 Apache-2.0 协议开源，同时放出 token 编解码组件 deepseek-recipe 和官方推理部署 Q&A。
推荐理由
作者把官方 Q&A 的并行策略、缓存设计与投机解码细节整理成可对照的表格，推理优化工程师可直接借鉴其 KVCache 独立存储与近似重算思路。
来源：掘金 · juejin.cn