Moonshot AI 将 Prefill/Decode 解耦技术扩展至跨数据中心与异构硬件

ME News 消息,4 月 18 日(UTC+8),Moonshot AI 团队近日宣布,其 Prefill(预填充)与 Decode(解码)的解耦技术已成功从单一集群扩展至跨数据中心及异构硬件环境。据文中观点,此举有望显著降低每个token的推理成本。此前,该技术的扩展因 KV cache 传输开销问题而受阻。此次突破的实现,关键依赖于其混合模型 Kimi Linear。(来源:InFoQ)

此页面可能包含第三方内容,仅供参考(非陈述/保证),不应被视为 Gate 认可其观点表述,也不得被视为财务或专业建议。详见声明
  • 赞赏
  • 评论
  • 转发
  • 分享
评论
请输入评论内容
请输入评论内容
暂无评论