当前位置：首页 > AI资讯

vLLM 把 DeepSeek-V4.1-Flash 塞进 GB300 机架：单卡每秒吐 95 万 token

xinhack2周前 (10-26)AI资讯168

先把这串数字翻译成人话

vLLM 官方近期公布了 DeepSeek-V4.1-Flash 在英伟达 GB300 NVL72 机架上的大规模推理方案。据 CSDN DAMO 10月25日整理，在 SemiAnalysis 的 AgentX 基准测试里，单卡吞吐干到了每秒 95.4 万 token，相比单节点聚合提升了近 7.9 倍。翻译成大白话：同样一张卡，原来一秒吐十几万 token，现在能吐将近一百万。对跑大模型服务的团队，这基本等于同样的机器多干了好几倍的活，账单却没跟着翻倍。

它到底动了哪两刀

关键招式就两个字：分离。第一刀是把 Prefill（先把输入算一遍）和 Decode（一个字一个字往外蹦）拆到不同环节，各跑各的、互不拖后腿；第二刀是 Wide-EP，也就是把专家并行铺得很宽，让 MoE 模型里那堆专家能均匀被喂饱。DeepSeek-V4.1-Flash 本身就是 MoE 架构，这俩刀正砍在它的痛点上。另外 vLLM 还顺手放了针对智谱 GLM-5.3 长上下文的多节点优化，在 16 张 H200 上用 PCP、DCP 和 Hybrid HiSparse 缓解长对话把显存撑爆的难题。一套组合拳，专治推理又慢又贵的老毛病。

对咱们用推理服务的人有啥实在好处

咱们做业务的最关心钱和速度。单卡吞吐翻好几倍，直接对应的是单位 token 成本往下掉、并发往上顶。你做客服机器人、做文档批量处理、做批量翻译，同样的预算能多服务几倍的用户，或者同样的量能省下一截云账单。对中小团队，这种开源推理引擎的优化比换个更贵的模型实在——模型能力够用就行，把钱花在把现有模型跑得又快又便宜上，才是真精明。咱也不是大厂，每一分算力预算都得掰着花。

也别光看 bench 上的数字

老实说，这种机架级数字有它的前提：它是 GB300 NVL72 整机架互联的结果，搬到单台 B200 或者 H200 虚拟机上，不等于能原样复现。而且这批核心优化很多还在 vLLM 的主干分支上，没全进稳定版。所以咱们看热闹要带脑子：数字很炸，但落地得看你的硬件和版本。别一听 95 万就以为自己家那台机器也能这么猛，先确认环境对得上，再谈省钱。工具是帮你省心的，不是让你盲目照搬 benchmark 的。

这事儿透出的行业信号

vLLM 这波动作，说明推理端的军备竞赛已经从拼模型转到拼工程。模型发布是 headlines，但真正决定你用得起用不起的，是后面这层把硬件榨干的 serving 优化。未来一段时间，谁能把开源模型在自家机器上跑得又快又省，谁就握住了成本命脉。对咱们选型的人来说，记住：看一个新模型值不值得上，别只看它跑分多高，先看生态里有没有 vLLM 这类引擎把它伺候得又快又便宜。能省下来的，才是真金白银。