DeepSeek 宣布将内部推理框架 DeepInfer 全面开源

DeepSeek 官宣将内部推理框架 DeepInfer 全面开源，并同步开源生产级 Token 编解码组件 deepseek-recipe。DeepInfer 集成高性能算子与深度优化的推理引擎，支持分布式推理、推测解码、SWA Bounded Replay、结构化输出，兼容英伟达与华为昇腾平台，已支撑 DeepSeek V4.1 Flash 高吞吐、低延迟的大规模推理服务。