MiniMax 开源 MiniMax M3 模型,拥有 4280 亿参数和 100 万 token 上下文

据 Beating 称,MiniMax 已在 Hugging Face 上开源其原生多模态混合专家(MoE)模型 MiniMax M3 的权重。该模型总参数规模达 4280 亿,且每个 token 激活 230 亿参数,能够原生支持最高 100 万 token 的上下文长度。开发团队发布了 MXFP8 量化版本,并集成了对主流推理框架的支持,包括 SGLang、vLLM 和 Transformers。MiniMax 还开源了轻量级 MiniMax 稀疏注意力(MSA)内核库,在 NVIDIA Blackwell 架构优化下,实现了在 100 万 token 上下文中预填充快 9 倍、解码快 15 倍。
免责声明:本页面信息可能来自第三方,仅供参考,不代表 Gate 的观点或意见,亦不构成任何财务、投资或法律建议。数字资产交易风险较高,请勿仅依赖本页面信息作出决策。具体内容详见声明
评论
0/400
暂无评论