DeepSeek 把线上推理框架 DeepInfer 开源：单集群日吞吐 155 万亿 token，单卡每小时 38 美元
这条对多数人不是”今天要去装”的消息，是”终于能看清自己被收的那笔钱花在哪”的消息。
开源了什么
DeepInfer 是 DeepSeek 线上大规模服务在跑的那个推理框架，10 月 20 日 initial commit，Apache 2.0。README 里写得很清楚，这次放出来的是离线推理部分：
- 优化算子：FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelect 与自定义 TileLang kernel
- 并行：Attention DP / balanced CP、MoE EP + EPLB
- DSpark 草稿 token 解码 + 按置信度调度验证（
DEEPINFER_ENABLE_MTP_VARLEN=1，DEEPINFER_USE_NEXTN_DECODE控制最大草稿长度，默认 5） - SWA bounded replay：只重放一个有界后缀来减少 decoder 的 prefill（
DEEPINFER_YOCO_PREFILL_TRUNCATION_MODE=compact、DEEPINFER_YOCO_PREFILL_KEEP_TOKENS=140是 V4.1 的默认设置） - 异步调度（零开销 batch scheduler，默认开）
- batch-invariant 推理（
DEEPINFER_BATCH_INVARIANT=1，仅 NVIDIA） - 确定性采样：同样输入 + 同样采样参数 → 同样输出（需
DEEPINFER_BATCH_INVARIANT=1 DEEPINFER_ENABLE_MTP_VARLEN=0+ 固定seq_seed） - 结构化输出：regex / JSON Schema / EBNF 约束
配套的 deepseek-recipe 是 MIT，负责把 Chat Completions / Messages / Responses 三种请求互相转换，并按官方 API 的方式做 token 编解码——目的是让第三方部署出来的 API 行为和官方一致。
没有开源的部分，README 单独列了一节：KV cache 系统、VE / Prefill-Decode 分离部署、跨数据并行副本的负载均衡。也就是说这不是一个开箱即用的 serving stack。
硬件与依赖：NVIDIA SM100 GPU 或华为昇腾 950 NPU，Linux，GCC 13 以上，Python 3.12，CUDA 13 或 CANN 9.2。官方的 prefill/decode Pareto 曲线是 4 张卡 prefill、64 张卡 decode 测出来的，各自在一个 scale-up domain 内。
那组数字
DeepSeek 在公告里一并公布了自己的运营数据：基于 DeepInfer 跑 V4.1 Flash 的单一集群，服务吞吐每天 155 万亿 token；按谷价折算，整体收入每卡每小时 38 美元。
这个数字的价值不在于你能复现，而在于它第一次把”大模型服务到底赚不赚钱”这个问题摊开了一个可算的口径：日均 token × 单价 ÷ 卡数 = 每卡每小时毛收入。你拿自己手上那条 agent 流水线的调用量套一遍，就知道你付的钱和服务方的硬件成本之间大概隔了多远。
为什么这件事值得关心，即使你不部署
过去 MaaS 厂商的通行做法是：开放模型权重，但不开放推理框架。权重给你了，你自己部署出来的吞吐和延迟却和官方差一截——这一截差距就是官方 token API 能维持定价的地方。DeepSeek 把框架也交出来，等于主动拆掉了这层。
对做 agent 产品的人来说，这传递的信号是实际的：自建部署与官方 API 之间的成本差，有机会被压到接近零。你要盯的不是今天的 API 价目表，而是”社区部署什么时候追上官方”这个进度条——一旦追上，按量计费的议价空间就变了。
泼冷水
第一，这次只支持 DeepSeek-V4.1-Flash 一个模型。你想拿它跑别的模型，现在不行。
第二，硬件门槛是 SM100 或昇腾 950。你手上的消费卡跑不起来，官方的 benchmark 也是 4 卡 + 64 卡的配置。对个人来说它不是”能跑的东西”，是”能读的东西”。
第三，KV cache 和负载均衡没开源，而这两块恰恰是大规模服务成本和稳定性差异最大的地方。别以为 clone 下来就能搭出一个等效的线上服务。
第四，155 万亿 token/天和 38 美元/卡时是 DeepSeek 自己的集群、自己的调度、自己的负载曲线。同样的模型换到你的场景，负载波峰波谷不一样，这个数字不会平移。
具体建议
- 别急着部署，先读
DEEPINFER_YOCO_PREFILL_KEEP_TOKENS这类默认参数。它们告诉你”有界重放”在工程上取多大的窗口是合理的，这类坐标自己调参时很难凭空试出来。 - 关注 deepseek-recipe。它解决的是”自建部署的 API 行为和官方不一致”这个具体痛点，比框架本身更早能用到你的项目里。
- 把你自己的 agent 成本按”每百万 token 实际支付价 vs 服务方每卡每小时毛收入”记一笔。这类数字攒上半年，你对”该自建还是该买”的判断会完全不一样。