一个GB300机柜能扛住OpenRouter的DeepSeek流量?原帖与算力数据核查

‘一个GB300机柜就能承接OpenRouter几乎全部DeepSeek流量’,是开发者Dax在X上提出的估算,不是OpenRouter或NVIDIA公布的容量测试结果。核查原帖、转述截图和官方资料后,可以确认:机柜与单卡不能混为一谈,前20模型约21.2万亿Token的加总基本正确,但把这些流量换算成一到四个机柜,目前缺少可复现依据。

这一估算也不足以证明全球推理算力过剩。OpenRouter公开榜单只覆盖其平台内符合统计条件的流量,不是整个市场。

原帖说了什么,转述又增加了什么

Dax说的是一个机柜,不是一台普通服务器

Dax(@thdxr)在10月27日的原帖中称,一个GB300机柜几乎可以服务OpenRouter前一天的全部DeepSeek流量,并估算机柜价值约600万至700万美元;即使平台之外还有十倍需求,对应设备金额仍不到1亿美元。

Shawn Pang随后转述,并根据一张榜单截图,将前20个模型的Token总量加起来,估计满载约四个机柜,再为峰值增加容量。原帖下方还可以看到Shawn的更正:应为一个rack,而非‘一台’。

这里的‘四个机柜’及峰值余量,是转述者进一步推算,不是Dax原帖提供的完整测试结果。‘最大的推理算力平台’也不应直接作为已核实排名:模型路由平台与直接运营推理集群的服务商,不是同一种业务口径。

GB300 NVL72的配置可以核实

NVIDIA官方产品页显示,GB300 NVL72是液冷机柜级系统,集成72颗Blackwell Ultra GPU和36颗Grace CPU,不是一颗GPU,也不是一台常规八卡服务器。

600万至700万美元来自Dax的估价,本文未取得可核对的具体配置报价单。设备采购金额也不是完整运营成本,还涉及电力、冷却、网络、机房、运维和折旧等。

截图的21.2万亿Token,算术是否正确

按截图展示值加总,约为21.204万亿

核对原帖所附图片,其中包括:

截图项目 展示用量
DeepSeek V4.1 Flash 1017 6.04T Token
DeepSeek V4.1 Flash 2.36T Token
GLM 5.3 Flash 1.87T Token
前20个模型合计,按展示值复算 21.204T Token
前20名中的四个DeepSeek条目合计 9.5T Token

T表示万亿,B表示十亿。因榜单各项经过舍入,加总只能视为近似值。

截图没有保留完整的日期和时间选择栏,但前十项数值及变化比例与本次读取OpenRouter官方页面的‘Today’文本摘要一致。官方说明,Today统计截至最近完整UTC日的一个日窗口。因此,本次可按日口径讨论这些值,但不能把当前页面当作原帖此前每一天的历史快照。

单一模型与全部DeepSeek流量,也不是一回事

截图第一名是一个具体模型版本,不能自动等同于平台上所有DeepSeek模型。Dax说的是前一天的DeepSeek流量,而转述截图涉及多个模型、不同提供商;两者的统计对象及日期也需要对齐。

若将21.204万亿Token平均摊到86400秒,对应约2.454亿Token/秒;第一名6.04万亿则约为6991万Token/秒。这只是平台处理Token总量的日均速率,并非等量的模型输出速度。

核心问题:榜单Token不能直接除以硬件跑分

输入、输出与缓存,计算代价不同

OpenRouter官方明确,榜单计入prompt和completion,即输入与输出Token。输入预填充和逐Token解码的处理方式不同,缓存命中还会改变实际计算量。相同的Token总数,在不同输入输出比例、上下文长度和缓存条件下,所需硬件可能差别很大。

要复核单机柜结论,至少需要对应日期、模型版本、输入输出及缓存拆分、并发与上下文分布、量化精度、推理框架,以及首Token延迟和每用户输出速度目标。原帖没有给出足以复现这些条件的计算过程。

因此,目前既不能确认其单机柜估算成立,也不宜只拿另一项跑分就宣布它必然错误。

NVIDIA公开测试能说明什么

NVIDIA在2026年4月的技术文章中披露:四套GB300 NVL72系统、共288颗GPU,在DeepSeek-R1的MLPerf Offline测试中,达到约249.4万Token/秒。这个数值来自四个机柜,不是一个机柜。

但它测的是DeepSeek-R1及指定测试场景,而截图主要涉及其他DeepSeek版本和多种模型。离线批量吞吐也不等于满足在线交互延迟的容量。不能将这一跑分与OpenRouter的输入加输出总量直接相除,得出准确机柜数量。

它提供的核查价值是:任何‘每秒多少Token’都必须注明模型、硬件数量、输入输出口径与服务约束,不能只保留一个性能数字。

为什么也不能直接套用四个机柜

不同模型不是同一种工作负载

前20名包含不同架构、规模和开放方式的模型。它们的Token化方式、计算量、显存需求及服务策略不同,不能把某个DeepSeek模型的效率直接应用于全部条目。榜单中的闭源模型,也不能默认可将权重部署到自行采购的GB300上。

线上服务还需要考虑峰值、排队、故障切换、区域部署和不同模型的常驻资源。按日均负载推导满载容量,再随意补几个机柜,并不足以形成可靠的生产配置方案。

平台流量不能推出全球算力投资结论

OpenRouter说明,榜单仅反映通过其API路由的流量,且排除了用户或应用设为私密的请求。模型厂商直连API、其他云平台、企业私有部署和消费端产品流量,不能假定都包含在内。榜单本身也不是训练算力、视频生成或其他工作负载的统计。

Dax后续关于大型厂商购买GPU资源、开放模型需求仍不足的说法,属于其市场观点;本次资料没有提供足以核实整体市场占比的完整数据。

本次核查结论是:机柜单位已得到纠正;截图21.2万亿Token的加总可复算;单机柜承载量、四机柜推算及600万至700万美元估价仍缺少对应证据。不能把这些估算写成已验证的容量事实,也不能据此认定全球AI基础设施已经出现确定规模的过剩。

资料核对:Dax原帖、OpenRouter榜单及统计说明、NVIDIA GB300 NVL72规格、NVIDIA MLPerf技术文章。截图数值取自Shawn Pang原帖附件,未独立进行硬件容量测试。

关联文章推荐

关联问答推荐

文章评论

登录后才能发布评论哦
立即登录/注册
还没有评论,快来抢沙发吧~
满银网 消息提醒
Hello, world! This is a toast message.