据 Ryan Lee(MiniMax 的开发者关系负责人)称,该公司已在 MIT 许可证下开源 MiniMax 稀疏注意力(MSA),这是一款用于 NVIDIA Blackwell(SM100)GPU 的高性能注意力库。Lee 表示,M3 模型权重将于 6 月 13 日周五上线。
在应用于 MiniMax-M3 的百万级令牌上下文推理时,相较于等效配置下的 Dense GQA,MSA 可将注意力计算减少 28.4 倍。在 H800 GPU 上,该库实现了 14.2 倍的预填充速度提升和 7.6 倍的解码加速。