掘金· lucas_AI·· 2 小时前同新闻AI 评分79
DeepSeek 开源生产级推理框架 DeepInfer:单集群日吞吐 155 万亿 token(官方自报)
单集群一天吐 155 万亿 token 的引擎开源了:DeepSeek 放出生产级推理框架 DeepInfer
AI 导读
10 月 20 日,DeepSeek 以 Apache 2.0 协议在 GitHub 开源其支撑线上服务的推理框架 DeepInfer,当前仅支持 DeepSeek-V4.1-Flash,NVIDIA SM100 与华为昇腾 950 双栈适配。
同一新闻,精选展示《DeepSeek 开源推理引擎 DeepInfer,支撑 V4.1-Flash 模型》
来源:掘金 · juejin.cn