The Decoder· Matthias Bastian·· 2 小时前精选AI 评分81
DeepSeek 开源推理引擎 DeepInfer，支撑 V4.1-Flash 模型
Deepseek open-sources the inference engine that powers its fastest and cheapest AI model
AI 导读
DeepSeek 以 Apache License 2.0 开源内部推理框架 DeepInfer，它是支撑 V4.1-Flash 模型快速响应的推理服务软件。该框架基于 vLLM，提供优化计算内核、多芯片分布式处理和更快的文本生成技术；DeepSeek 同时发布 deepseek-recipe，用于复现官方 API 的 token 处理方式，使自托管环境表现一致。
推荐理由
DeepInfer 基于 vLLM 做内核与分布式优化，配合 deepseek-recipe 让自托管行为对齐官方 API，为降低推理成本提供了可直接复用的方案。
来源：The Decoder · the-decoder.com