DeepSeek 把压箱底的推理引擎掏出来了：DeepInfer 开源，还原生支持华为昇腾

10 月 20 日，DeepSeek 在官方 X 账号宣布：自家生产环境的推理框架 DeepInfer 完全开源，Apache 2.0 协议。同行的还有一个小组件 deepseek-recipe，负责 token 编解码，处理逻辑和官方 API 对齐。

这套东西每天在 DeepSeek 的生产集群里扛 155 万亿 token（官方口径，未经独立验证），输入缓存命中率 96%，首 token 平均 400 毫秒左右。现在代码公开，任何人都能拿去跑 DeepSeek-V4.1-Flash。对用户最直接的影响写在成本上：跑模型的云厂商拿到这套引擎，推理成本还有下压空间，API 价格战大概率继续。而对国内开发者，另一个细节更实在：DeepInfer 出厂支持华为昇腾 950。

多说一句时间线：DeepInfer 发布的前一天，美国国土安全部要求联邦民事机构把 DeepSeek 产品从系统里移除，包括基于其技术的第三方服务。开源和这道命令前后脚，DeepSeek 没解释过二者的关系，我也不替它下结论，只把时间点记在这里。

DeepInfer 开源了什么，没开源什么

先把范围划清楚，免得有人把它当成开箱即用的 API 服务。

开源的部分：推理引擎本体。README 写得很直白，最初基于 vLLM 构建，又从 SGLang 和 TensorRT-LLM 那里借鉴了思路。目前能跑的模型只有一个，DeepSeek-V4.1-Flash，而且是离线模式。硬件支持两家：NVIDIA SM100（Blackwell 一代，CUDA 13）和华为昇腾 950（CANN 9.2）。

内核全家桶也在这次一起交了出来。FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelect，再加上 TileLang，这些名字过去一年陆续出现在 DeepSeek 的论文里，现在拧成了一套真正跑生产的代码。

几个技术细节值得展开：

注意力层用数据并行加上下文并行，MoE 层用专家并行，配 EPLB 做负载均衡。解码走 DSpark 的路子，先起草几个 token，再用置信度估计决定什么时候校验。还有一个叫 SWA bounded replay 的技巧，prefill 阶段只把最后 128 个 token 重新过一遍解码器，官方说法能把 prefill 的计算量砍掉近一半。

确定性这块做得挺彻底：batch-invariant 推理加确定性采样，同样输入、同样采样参数，输出逐字相同。做评测和调试的人应该很喜欢这个特性。结构化输出支持 regex、JSON schema、EBNF 三种约束。

没开源的部分，DeepSeek 自己列得很诚实：KV cache 管理系统、prefill 和 decode 分离部署、跨副本的负载均衡。这三块和它内部基础设施耦合太紧，没放出来。README 的原话大意是，搭完整服务的话，这几样缺一不可。

定位很清楚：一个跑得很快的引擎，离现成的服务还差三件套。想复刻 DeepSeek 的 API 定价，光有引擎不够，KV cache 管理、prefill/decode 分离、负载均衡还得自己补，或者借 vLLM、SGLang 的现成方案。

这事为什么和你钱包有关

大模型的 API 价格，拆开看无非推理成本加毛利。DeepInfer 公开之后，第三方云厂商跑 DeepSeek 模型的成本有了下压空间。彭博社的分析点得很透：这次开源揭示了 DeepSeek 怎么把推理成本压住，云厂商直接拿来用就能降本，开发者也能照着这个模板优化自己的部署。

之前我们报道过一件事：DeepSeek-V4.1 Flash 在 OpenRouter 上被第三方渠道卖出了官方价格的零头。成本工具开源之后，这种"官方渠道反而不便宜"的现象大概率会更多。如果你对价格敏感，结论很简单：同一个模型，多比几家渠道，差价只会越拉越大。

deepseek-recipe 值得单独拎出来说。它用 Rust 写成，带 Python 绑定，MIT 协议。吃三种请求格式：OpenAI Chat Completions、OpenAI Responses、Anthropic Messages，转成 DeepSeek 内部的对话格式再渲染成 prompt；回来的时候把推理内容、工具调用、JSON 输出、停止序列解析回你原来的格式，流式和非流式都支持。自己搭服务，行为和官方 API 对齐。对做中转、反代、自建网关的人来说，这属于直接省事的工具。

昇腾支持：第一家前沿实验室给国产芯片做的生产级背书

DeepInfer 的硬件支持名单只有两行：NVIDIA SM100 和华为昇腾 950。aiweekly 的点评是，这是第一家前沿实验室给华为做的生产级背书。

把它放进时间线看更清楚。9 月 30 日，DeepSeek 刚把 TileLang 内核编程语言带到昇腾芯片上；9 月彭博社报道过，DeepSeek 计划在内蒙古的新数据中心部署至少 16 万台昇腾 950DT 加速器。推理栈原生支持昇腾，是这条线的自然延伸。

对国内自建推理的用户来说，这个支持名单的实际意义是：以后在国产芯片上跑 DeepSeek 模型，有了官方维护的推理栈，不用自己吭哧吭哧移植内核了。

同一天，语音赛道和评测圈也没闲着

10 月 20 日不只 DeepInfer 一件事。

Mistral 发布了 Voxtral 3，一整套语音智能体栈：听、想、调工具、说，合成一条实时流。转录支持 50 多种语言，价格从每分钟 0.0035 美元起步，实时转录版本 0.008 美元每分钟，号称延迟压到 500 毫秒以内；语音合成覆盖 35 种以上语言、50 多种方言，每百万字符 13 美元；整套语音智能体按 4 美分每分钟计价。支持自部署，也有欧盟托管的 API。同一天下午，ElevenLabs 发了两个 speech-to-speech 实时对话模型。现在的竞争点已经从转录准不准，转到了延迟和随时打断。

评测圈也有动静。SWE-Bench Pro V2 做了一次大修：731 个任务里，480 个被修复或退役，23 个工程师花了 404 小时重写和复核。剩下的 642 个任务，前沿智能体最高能解出 99.4%；新设的 51 题 Hard 子集把各家拉开到 52.9% 到 98.0%。翻译一下：旧基准已经被刷烂了，以后看模型写代码的能力，看 Hard 子集那个数字。

还有一条偏底层的：Google 和 Meta 的 PyTorch 团队联合发布了 TorchTPU，让 PyTorch 代码直接跑在 TPU 上；前一天 AWS 刚给自家 Trainium 做了类似的事。模型跑在哪家芯片上，正在变得越来越不重要，这对 DeepInfer 这种跨硬件的推理栈也是利好。

一句话总结

DeepSeek 把生产级的推理引擎开源了，成本武器公开，第三方 API 只会更便宜；昇腾拿到第一张前沿实验室的生产背书；语音和评测赛道同一天各自往前拱了一步。

来源：

• PYMNTS：https://www.pymnts.com/news/artificial-intelligence/2026/deepseek-open-sources-inference-tech-to-lower-ai-costs/
• SiliconANGLE：https://siliconangle.com/2026/10/20/deepseek-open-sources-deepinfer-the-inference-framework-behind-its-production-services/
• AI Weekly：https://aiweekly.co/alerts/deepseek-open-sources-deepinfer-its-v41-flash-serving-stack
• madrobot.blog 深度解析：https://madrobot.blog/2026/10/20/deepseek-deepinfer-open-source-inference-engine-huawei-ascend-nvidia/
• Medium 技术拆解：https://medium.com/@a1078636609/deepseek-open-sourced-deepinfer-the-inference-framework-behind-deepseek-v4-1-flash-f7c2ac544b92
• thediaryofai 当日 AI 新闻：https://thediaryofai.com/ai-news-20261020/
• Mistral 官方公告：https://mistral.ai/news/voxtral-3/
• THE DECODER：https://the-decoder.com/mistral-ai-launches-voxtral-3-a-full-voice-agent-stack-that-listens-thinks-and-talks-in-real-time/
• siliconnoon 当日 AI 汇总：https://siliconnoon.com/today-in-ai-october-20-2026/