Latent Space·· 2 小时前精选AI 评分76
DeepSeek 开源 DeepInfer 生产推理栈，单集群日服务 155T token
[AINews] DeepSeek DeepInfer: Open Source SOTA Inference running 155T toks/day/cluster making $22m/day at ~80% margin for a 81 day payback
AI 导读
DeepSeek 在 PyTorch Conf 首日开源 DeepInfer 生产推理栈，支持 NVIDIA 与华为昇腾平台，单集群日服务 155T token、输入缓存命中率达 96%。工程报告称离线价格下每加速卡小时收入 38 美元，但 KV cache 管理与负载均衡组件尚未完全开放；vLLM 团队在 GB200 匹配配置下复现的 decode 吞吐与公布结果差距在 6% 以内。
推荐理由
原文除发布事实外还整理了生产吞吐、缓存架构与 vLLM 独立复现结果，读者可据此判断该开源栈的可迁移性。
来源：Latent Space · latent.space