2026-07-25 03:21:26
AMD 于 7 月 25 日发布了完全开源的 Instella-MoE 模型,参数规模为 160 亿个参数
据 BlockBeats 报道,AMD 于 7 月 25 日发布了完全开源的专家混合(MoE)模型 Instella-MoE。该模型总参数量为 160 亿,每个代币激活参数为 28 亿。基础模型的平均得分为 76.7,在领先的开源语言模型中名列前茅,并且优于 SmolLM3-3B 和 OLMo-3-7B。Instella-MoE 使用 ROCm 软件栈,在 AMD Instinct MI300X 和 MI325X GPU 上进行训练,支持 64K 代币上下文长度。AMD 已公开发布所有模型权重、训练配置、数据分布、中间检查点以及推理代码,以推动开放 AI 模型研究。