DeepSeek把推理框架也开源了：DeepInfer登场，工程账本一并摊开

导语：模型权重开源之后，DeepSeek又把“怎么把模型跑得又快又省”的推理框架DeepInfer拿了出来。它已用于V4.1 Flash的线上服务，兼容英伟达与华为昇腾，但完整在线服务所需的若干配套系统仍未包含在本次发布中。

10月20日，DeepSeek宣布将内部推理框架DeepInfer开源，把支撑大规模模型服务的工程能力进一步对外开放。

官方介绍显示，DeepInfer已服务于DeepSeek V4.1 Flash的高吞吐、低延迟推理，具备分布式推理、推测解码、结构化输出等能力，并兼容英伟达与华为昇腾平台。后续新模型的推理代码和优化也会持续更新到该项目。

公告还提到生产级编解码组件deepseek-recipe，负责应用请求与模型输入输出之间的转换，帮助第三方部署对齐官方API的处理逻辑。

在模型权重、计算与通信组件相继开放后，DeepSeek正把“如何高效跑模型”的经验也拿出来分享。对企业来说，拿到模型只是起点，怎样控制成本、同时承接大量用户，仍有不少工程难题。

推理，就是训练好的模型接收输入、计算并生成输出的过程。日常聊天、看图、写代码，背后都离不开推理。

单个用户提问和大量用户同时使用，对系统的要求完全不同。有人上传长报告，有人只问一句话，还有人让Agent连续读文件、改代码、跑测试。服务端要调度这些请求，管理计算过程中的缓存，还要协调多张芯片协同工作。

推理框架干的正是这些活。它决定芯片能否被充分利用、用户要等多久，以及一套设备能接住多少请求。即便模型相同，部署方式不同，速度和成本也可能差出一截。

DeepInfer整合了DeepSeek此前开放的高性能计算与通信组件，并加入调度、并行执行等优化。比如推测解码先产生候选Token再验证，以此加速输出；SWA Bounded Replay则通过重放有限长度的近期内容，降低部分上下文状态恢复时的计算开销。

官方仓库目前列出的支持模型为V4.1 Flash，硬件覆盖NVIDIA SM100 GPU与华为昇腾950 NPU。首发版本提供了离线推理及规模化服务的核心能力，但完整KV缓存系统、视觉编码、预填充与解码分离部署，以及副本间负载均衡，并未包含在这次发布中。企业若要搭建完整在线服务，仍需集成配套系统。

deepseek-recipe解决的是另一类接入问题：把不同API格式的请求转成模型所需的提示词或Token，再把输出解析为回答、思考内容、工具调用等。模型计算、工具执行和HTTP服务仍由使用方提供。接口处理对齐能减少部署差异，但不代表第三方服务的速度、稳定性和答案会与官方完全一致。

这次发布与DeepSeek近期的模型更新方向相互呼应。

V4.1 Flash技术报告指出，长任务Agent让模型要处理的输入越来越多。代码、文档、历史对话和工具返回不断累积，读取这些内容以及存储、搬运相关缓存都会产生开销。

为此，V4.1 Flash在模型结构和缓存上做了优化。官方披露，其全局KV缓存占用约为V4 Flash的四分之一；结合特定部署优化，持久化KV缓存占用约为八分之一。需要注意的是，缩减的是对应缓存部分，不能直接等同于整体推理成本按同比例下降。

10月17日更新的V4.1 Flash-1017，则强调在提升推理、编程和Agent任务表现的同时，压缩任务执行时间与输出长度。

模型少做不必要的计算和输出，推理框架提高执行效率，两者共同决定完成一项任务的成本。对云服务商和企业部署团队而言，官方实现也提供了调优参考，有机会少走重复适配的弯路。

此前，DeepSeek已开放面向昇腾的矩阵计算库DeepGEMM-Ascend与通信库DeepEP-Ascend。此次推理框架进一步覆盖昇腾平台，为国产算力部署提供了更完整的工程参考。不过，支持某个平台，并不直接意味着不同芯片的性能和成本已经相当。

DeepInfer也与此前开源的Harness不同：Harness负责组织模型、工具和任务执行过程，DeepInfer负责底层模型计算。两者可以配合，一个影响任务怎么完成，一个影响计算如何高效进行。

DeepSeek在推理基础设施上的开放已有积累。2025年2月的开源周，它陆续发布FlashMLA、DeepEP、DeepGEMM，以及DualPipe、EPLB、3FS等项目，覆盖注意力计算、通信、矩阵运算、并行调度和存储。随后又公开V3/R1推理系统概览，介绍内部服务的设计与运行。

但这些组件和技术说明，并不等于完整内部推理引擎已经公开。2025年4月，DeepSeek曾专门解释开放内部引擎的困难：代码基于较早的vLLM分支，做了大量定制；与内部基础设施深度耦合；团队维护大型开源项目的人力有限。因此当时选择优先与现有开源项目合作，拆出可复用组件并分享优化。

这次发布独立的DeepInfer仓库，意味着开放形式又往前走了一步。它与当时的工程判断并不矛盾，也不能据此认定所有部署障碍都已解决。

按DeepSeek的说法，此次开放希望帮助开发者和企业优化大规模推理的吞吐与延迟，降低算力成本和能源消耗。对使用方来说，这些目标最终要在自己的硬件和业务中验证：能否用更少的计算资源，在可接受的等待时间内稳定完成更多任务。

相关讨论还提到一组更直观的数字：一张卡每小时收入38美元。推理效率最终会落到这样的成本账上。