跳到正文
掘金· lucas_AI·· 10 天前AI 评分19

模型一升级缓存全作废?DeepSeek 实测:KV Cache 跨版本直接复用,首 token 快 5 倍

AI 导读

DeepSeek 实测证实,模型升级后旧版本为长前缀算好的 KV Cache 可跨版本直接复用,无需作废重算,首 token 生成快 5 倍。以往模型滚动更新时,这些缓存通常全部作废重算。

来源:掘金 · juejin.cn