小米披露 MiMo-V2-Pro 训练细节:1T 模型参数,部署成千上万台 GPU

Gate News 消息,4月24日——小米的大语言模型团队负责人罗福丽在一场深入采访中透露,MiMo-V2-Pro 模型的总参数量达到 1 万亿,并且训练过程中需要成千上万台 GPU。她表示,1T 规模代表要实现接近 Claude Opus 4.6 等级的性能,并为下一阶段 AI 智能体抢占具备竞争力的入场券所达到的最低门槛

从技术层面看,Pro 版本采用极端稀疏注意力机制,在全局注意力与滑动窗口注意力之间的比例为 7:1,从而在长上下文处理时控制推理成本。模型还保留了 MTP (Multi-Token Prediction) 架构,以利用富余的计算能力实现更快的推理。

在管理层面,100 人规模的 MiMo 团队中,直接参与核心迭代的只有 30-40 人。团队在没有正式层级或明确子分组划分的情况下运作,也没有交付截止期限。遇到诸如训练损失突增这类不稳定的数值问题时,团队会优先考虑停止训练以进行排查,即使这意味着停止业务一到两周,并产生数百万美元的计算成本。

免责声明:本页面信息可能来自第三方,不代表 Gate 的观点或意见。页面显示的内容仅供参考,不构成任何财务、投资或法律建议。Gate 对信息的准确性、完整性不作保证,对因使用本信息而产生的任何损失不承担责任。虚拟资产投资属高风险行为,价格波动剧烈,您可能损失全部投资本金。请充分了解相关风险,并根据自身财务状况和风险承受能力谨慎决策。具体内容详见声明

相关文章

霍斯金森在 The Breakdown 上讨论了 Midnight 在 Cardano 生态系统中的作用

Cardano 创始人、以太坊联合创始人 Charles Hoskinson 作为嘉宾出现在 David Gokhshtein 主持的播客《The Breakdown》第 701 集中,讨论 Midnight 项目、加密货币中的用户体验挑战以及他对区块链未来的愿景。在采访期间,Hoskinson

Crypto Frontier4小时前

伯克希尔能源业务因 AI 驱动的电力需求而看到增长机会

据 Beating 称,在伯克希尔的股东大会上,CEO Abel 强调,由 AI 驱动的电力需求正在为公司能源业务创造新的增长机会,其一半的能源公用事业单位已在处理与 AI 相关的电力需求。 在爱荷华,数据中心现在占据

GateNews7小时前

Musk 与 Altman 诉讼首周证词:自承 XAI 蒸馏 OpenAI,警告 AI 像终结者

马斯克在奥克兰联邦法院首周诉讼证词中指控奥特曼与 Brockman 骗取早期非营利资金,警告 AI 末日风险,并自承 xAI 部分蒸馏自 OpenAI 模型;他自述投入 3,800 万美元,见证 OpenAI 从非营利转为估值 8 千亿 美元。Microsoft 2022 投资被视为信任崩坏的转折点。OpenAI 辩称马斯克企图挖角、并以竞争对手动机抗辩。随后在第二周证人包括 Russell 与 Brockman。

鏈新聞abmedia9小时前

与特朗普有关的 AI 金融收购 Block Street,金额 4300 万美元

据《财富》,AI Financial,这家与特朗普家族有关的加密货币公司此前名为 Alt5 Sigma,上周以 4300 万美元收购了 Block Street,一家加密基础设施公司。AI Financial 的顾问兼 Block Street 的首席执行官 Matthew Morgan 表示,该收购并非一项

GateNews9小时前

Riot 的股价在扩大 AMD 数据中心合作后上涨 8%

比特币矿企 Riot 的股价在其与 AMD 的数据中心协议扩展后上涨 8%。扩展后的合作包括改善的融资条款,凸显 Riot 正在从比特币挖矿转向人工智能数据中心运营的战略转变。此举表明信心日益增强

GateNews12小时前

明尼苏达州禁止 AI 非自愿色情影像工具,并处以最高 $500K 罚金

据 Decrypt 称,明尼苏达州议会于 5 月 2 日通过了一项法案,禁止网站和应用程序提供可生成未经同意的亲密图像的 AI 工具,且这些图像涉及可识别的个人。该法律禁止平台允许用户访问或使用此类“深度伪造”工具,并禁止

GateNews14小时前
评论
0/400
暂无评论