AMD 于 7 月 25 日发布了完全开源的 Instella-MoE 模型,参数规模为 160 亿个参数

AMD-3.29%
据 BlockBeats 报道,AMD 于 7 月 25 日发布了完全开源的专家混合(MoE)模型 Instella-MoE。该模型总参数量为 160 亿,每个代币激活参数为 28 亿。基础模型的平均得分为 76.7,在领先的开源语言模型中名列前茅,并且优于 SmolLM3-3B 和 OLMo-3-7B。Instella-MoE 使用 ROCm 软件栈,在 AMD Instinct MI300X 和 MI325X GPU 上进行训练,支持 64K 代币上下文长度。AMD 已公开发布所有模型权重、训练配置、数据分布、中间检查点以及推理代码,以推动开放 AI 模型研究。
免责声明:本页面信息可能来自第三方,仅供参考,不代表 Gate 的观点或意见,亦不构成任何财务、投资或法律建议。数字资产交易风险较高,请勿仅依赖本页面信息作出决策。具体内容详见声明
评论
0/400
暂无评论