PrismML 发布 Bonsai 27B,首个可在 iPhone 上运行的 270 亿参数模型,占用 3.9GB

据 Decrypt 报道,PrismML 于 7 月 16 日发布 Bonsai 27B,这是首个可在消费级智能手机上运行的 270 亿参数 AI 模型。该模型已被压缩至 3.9GB,并在 iPhone 17 Pro Max 上以每秒 11 个 token 的速度运行。压缩技术将模型权重的 16-bit 浮点精度降低为三元值(正 1 或负 1),使得二进制版本比全精度版本小 14 倍。

PrismML 首席执行官 Babak Hassibi 确认,公司正在就该压缩技术与苹果进行初步沟通。该模型在 Apache 2.0 许可下发布,并计划接下来对 Gemma 进行压缩。

免责声明:本页面信息可能来自第三方,仅供参考,不代表 Gate 的观点或意见,亦不构成任何财务、投资或法律建议。数字资产交易风险较高,请勿仅依赖本页面信息作出决策。具体内容详见声明
评论
0/400
暂无评论