SemiAnalysis:Vera Rubin 常用区间性价比仅 GB300 的 1.4–3 倍
- SemiAnalysis 用 AgentX 智能体基准实测预发布软件上的 Vera Rubin NVL72:在 170 TPS 这个点上,每美元 TCO 的吞吐是 GB300 的约 67 倍——但那是 GB300 曲线的末端。
- 在多数推理厂商实际运行的 60–100 TPS 区间,Rubin 只比最强的 GB300 配置高 1.4 到 3 倍;换成开源 SGLang 引擎,GB300 的交互速度还能追平 Rubin。
- 每吉瓦口径更有参考价值:75 TPS、60% 利用率下 Rubin 年收入 1,595 亿美元、模型利润 1,499 亿,比最强 GB300 配置高 39% 和 42%。
SemiAnalysis 2026 年 9 月 14 日发布的文章,作者 Bryan Shan、Alec Ibarra、Cam Quilici、Wenyao Gao、Dylan Patel。这是 Vera Rubin 平台第一份经过验证的智能体推理实测结果。
被测对象:英伟达 Vera Rubin NVL72 机柜,生产版 SKU,2300W TDP,每个计算托盘 1.5TB CPU LPDDR5X。SemiAnalysis 称 Rubin 是第一个跨六款产品协同设计的平台——Rubin GPU、Vera CPU、NVLink 6 交换芯片、ConnectX-9、BlueField-4、Spectrum-6。
测试方法:用自研的智能体推理基准 AgentX,在上千颗芯片的机群上回放真实世界的智能体流量。模型用 DeepSeek V4 Pro 1.6T(MIT 许可,无授权费),作为 1—3 万亿参数量级模型的代理。
重要限定:测试跑在早期预发布的 TensorRT-LLM 软件上,作者明确说性能后续还会提升。
口径说明:原文为英文,本篇为中文重制与注释,非全文翻译。凡本站换算或补充之处均标注「本站」。
先搞清楚它在测什么:智能体负载和两种成本口径
这两件事决定了所有倍数怎么读
AgentX 测的不是聊天机器人,是智能体工作负载。作者给了四个特征:
- 多轮:一次会话包含几十到上百轮用户与助手的交互,而聊天场景只有寥寥几轮。
- 长上下文:系统提示词、工具定义、加上大量轮次,上下文积累得很快。
- 高前缀复用:对话是线性推进的,第 n−1 轮的输出被拼到第 n 轮,所以大部分上下文可以从 KV 缓存里取而不必重算。轮数 n 越大,缓存命中的比例越接近 1——前提是有足够的存储空间放这些 KV 张量。
- 子智能体突发:一次会话会派生出多个短生命周期的子智能体,各自带全新上下文,造成突发式的缓存压力。
成本这一侧,InferenceX 给每个 SKU 提供两套 TCO 口径,本篇后面所有倍数都要看清用的是哪一套:
- 自有(超大规模厂商量级):自购自运营的每 GPU 小时成本,含服务器与网络资本开支按使用年限摊销、托管、电力和资金成本,按超大规模厂商的采购与融资条件计算(有批量折扣和定制服务器)。
- 租赁(3 年承诺):向云厂商租用的市场价,按 SemiAnalysis 的租赁价格调研。2026 年 7 月的读数是 Rubin 每芯片每小时超过 8.5 美元,Blackwell Ultra NVL72 为 5 美元。
本站提示:这两套口径会给出完全不同的倍数。文章的头条数字 67 倍用的是自有口径;租赁口径下同一个对比只有 62%。
注册免费,可读注册层内容;解锁全部档案凭会员兑换码 · 返回报告目录
有会员朋友?请 TA 用页面底部「分享 → 赠阅」发你一条赠阅链接,免登录可读全文(7 天有效)。
- 📡Serenity 实时订阅 全网订阅第一「白毛股神」一手推文,分钟级中译直推邮箱,每天约 20~30 条,含她付费订阅才有的独家内容
- 💼白毛持仓 · 完整台账 她公开推文里亲口说过的持仓,整理成一张带原话出处的表:75 只在持 · 43 只明确否认 · 16 只已清仓,每条带首次披露日、成本锚与最后确认日,新披露实时上表。不是荐股,是「她说过什么」的可核对记录
- 📈大行研报 · ima 知识库对话 境内外一线投行研报每日汇入腾讯 ima 知识库(AI 相关精选 7,000+ 份、境内外日增 30+),你在库里通过 AI 对话随问随答、带出处,等于雇个 7×24 研究助理
- 🗺️知识库全开 + 深度报告解析 1,151 公司 / 694 概念全词条 + 全景图谱,外加 86 篇机构深度报告可视化解读、巨头供应链拆解、产业大事件复盘
- 🎓两套课程全解锁 金融人的产业链大课 18 讲(能源→芯片→基础设施→模型→应用,每周上新)+ 公司深度研究 27 门(英伟达 / 台积电 / SK 海力士 / 博通 / 中际旭创…一家公司一门课,分单元、节节带测验、给成绩单)
- 💬会员微信群 入圈后可加入会员微信群,会员之间日常交流,我也在群里
