根据 SemiAnalysis 在 7 月 13 日的报道，英伟达在 vLLM 推理优化方面相较 AMD 展现出明显的性能优势，GB200 NVL72 架构在如 Kimi K2.5 这类专家混合（Mixture-of-Experts）模型上实现了每秒超过 12,000 个 token 的吞吐量。该分析指出，英伟达的 Dynamo 分布式推理框架与 vLLM 深度集成，使其能够高效实现专家并行化以及 KV 缓存优化；而 AMD 的 MI355X 目前依赖标准版 vLLM，在大规模 MoE 场景下缺乏相应的深度优化。
免责声明：本页面信息可能来自第三方，仅供参考，不代表 Gate 的观点或意见，亦不构成任何财务、投资或法律建议。数字资产交易风险较高，请勿仅依赖本页面信息作出决策。具体内容详见
声明。
