英伟达 Blackwell GPU 成本翻倍,但单 token 推理成本较 Hopper 下降 35 倍

根据 Nvidia 最新博客分析,Blackwell GPU 的每小时成本几乎是 Hopper 代际的两倍,但每个 token 的推理成本却低 35 倍。以 DeepSeek-R1 作为测试模型,Blackwell(GB300 NVL72)按每 GPU 每小时 2.65 美元出租,而 Hopper 为 1.41 美元;但单个 GPU 的吞吐量从 90 跃升至 6,000 每秒 token。这样 65 倍的吞吐量增益使每百万 token 成本从 4.20 美元降至 0.12 美元。

0.12 美元这一数值假设完成了全套软件优化,包括 FP4 低精度推理和多 token 预测(MTP)。如果未启用 MTP,每百万 token 成本约为 2.35 美元,启用后降至 0.11 美元,表明仅该特性就带来了 21 倍的优化效果。

免责声明:本页面信息可能来自第三方,不代表 Gate 的观点或意见。页面显示的内容仅供参考,不构成任何财务、投资或法律建议。Gate 对信息的准确性、完整性不作保证,对因使用本信息而产生的任何损失不承担责任。虚拟资产投资属高风险行为,价格波动剧烈,您可能损失全部投资本金。请充分了解相关风险,并根据自身财务状况和风险承受能力谨慎决策。具体内容详见声明

相关文章

Sierra 完成 $950M 系列 E 融资,估值为 158 亿美元,由 Tiger Global 和 GV 领投

据 ChainCatcher,Sierra,这家由 OpenAI 董事会主席 Bret Taylor 以及前 Google 高管 Clay Bavor 创立的企业级 AI 初创公司,已完成一轮 9.5 亿美元的 E 轮融资,融资后的估值为 158 亿美元。本轮融资由 Tiger Global 以及 Alphabet 的风险投资部门 G 领投

GateNews4 分钟前

OpenAI 为企业 AI 部署风投融资 $4 十亿

据 Bloomberg 报道,OpenAI 为 The Deployment Company 融资超过 $4 十亿,这项新业务将由其控制,旨在帮助企业采用其 AI 软件。该公司在获得新资本之前估值为 100 亿美元,并由 19 家投资者支持,其中由 TPG 和 Brookfield Asset Management 领投,沿

GateNews10 分钟前

OpenAI 联合创始人 Brokeman 在周一的出庭证词中证实 $30B 持仓

周一在 OpenAI 与 Elon Musk 的法律纠纷中出庭作证期间,OpenAI 联合创始人兼总裁 Greg Brokeman 确认,他在该公司的持股价值接近 300 亿美元。当被问及该价值是否“更接近 300 亿美元”时,Brokeman 回答“是的”,

GateNews10 分钟前

白宫考虑为新 AI 模型设立政府审查流程,上周曾向科技高管简报

据《纽约时报》报道,白宫正在讨论一项行政令,以成立一个人工智能工作组,该工作组将汇集科技公司高管和政府官员,研究潜在的监管程序。上周,白宫官员简报

GateNews16 分钟前

科罗拉多州立法者提出以 AI 法替代方案来解决行业担忧

科罗拉多州立法者正着手废除并取代该州 2024 年的人工智能法案 SB24-205,并以新规则替换。新规则将缩小 AI 监管的范围,同时回应行业对合规负担的担忧。新的提案 SB26-189 将监管所使用的 AI 系统,其中包括

Crypto Frontier5小时前

R0AR 进入 Consensus 2026 PitchFest 决赛轮,勉强错失前 20 名

根据 MetaversePost,R0AR 于 5 月 4 日晋级 CoinDesk 2026 PitchFest 的最终遴选轮,险些错过入选现场路演的前 20 家初创企业。这位 Web3 和 AI 创新者与全球其他高潜力初创企业一同接受评估,位于行业的其中一个 m

GateNews9小时前
评论
0/400
暂无评论