DeepSeek 开源推理引擎 DeepInfer

发生了什么

DeepSeek 开源了 DeepInfer，许可证 Apache-2.0。按 README 的说法，它就是 DeepSeek 线上大规模服务用的推理框架，这次放出的是离线推理部分。

• 支持的模型：DeepSeek-V4.1-Flash。
• 硬件：NVIDIA SM100 系列 GPU 和华为昇腾 950 NPU。
• 主要特性：优化过的计算内核；注意力和 MoE 的多种并行方式；DSpark 投机解码，默认最多 5 个草稿 token；结构化输出（正则、JSON Schema、EBNF）；在 NVIDIA 上支持确定性采样。
• 没有放出来的：KV cache 系统、Prefill/Decode 分离部署、多副本之间的负载均衡。完整的线上服务还需要这几块。

对你有什么用

• 个人和小团队基本用不上：硬件门槛很高，也缺上面几块组件。
• 值得看的是思路：它把「大模型推理怎么省钱」摊开了，想了解为什么有的模型能卖得便宜，可以看 README 里的特性说明和 Performance benchmarks 一节（测试用的是 4 张 SM100 做 prefill、64 张做 decode）。
• 想自己跑开源模型，个人电脑上更现实的选择是 Ollama，见资源导航 · 开源项目。