跳到正文
掘金· lucas_AI·· 2 小时前同新闻AI 评分79

DeepSeek 开源生产级推理框架 DeepInfer:单集群日吞吐 155 万亿 token(官方自报)

单集群一天吐 155 万亿 token 的引擎开源了:DeepSeek 放出生产级推理框架 DeepInfer

AI 导读

10 月 20 日,DeepSeek 以 Apache 2.0 协议在 GitHub 开源其支撑线上服务的推理框架 DeepInfer,当前仅支持 DeepSeek-V4.1-Flash,NVIDIA SM100 与华为昇腾 950 双栈适配。

同一新闻,精选展示《DeepSeek 开源推理引擎 DeepInfer,支撑 V4.1-Flash 模型》

来源:掘金 · juejin.cn