OpenAI 工程师 Clive Chan 挑战 V4 硬件建议,称其相较 V3 存在错误与模糊之处

Gate News 消息,4 月 24 日——OpenAI 工程师 Clive Chan 就 V4 技术报告中的硬件建议章节提出了详细异议,称其“出人意料地平庸且容易出错”,与备受赞誉的 V3 版本相比尤为如此。V3 的硬件指导,其中包括问答(Q&A)环节,这些环节成为 ISCA 学术会议上最受欢迎的讨论话题,并提供了与业界互连标准相匹配的具体建议。相比之下,V4 则要模糊得多。

Chan 系统性地质疑了三项关键建议。关于功耗,报告指出,软件优化允许芯片在同一时间以满负荷运行计算、存储与通信,并建议芯片制造商预留更多的功率余量。Chan 认为这适得其反:芯片的总功耗受物理工艺限制所约束,因此预留更大的功耗裕量只会降低工作频率,最终减少计算性能。关于 GPU 到 GPU 的数据传输,报告主张采用拉取(pull)模型——由 GPU 主动获取数据——而非推送(push)模型,并称在推送操作中存在较高的通知开销。Chan 则对此提出异议,认为拉取实际上更慢,并且更优的是提升网络适配器能力。然而,这两者可能在讨论问题的不同层面:报告谈的是通知机制的开销,而 Chan 指的是传输延迟本身。

关于激活函数,报告建议用更简单的函数来替换 SwiGLU,以降低计算负担。Chan 认为这没有任何价值,并指出 Sonic MoE 已经通过使用 SwiGLU 展示了最佳性能。Chan 怀疑 DeepSeek 可能“故意削弱了这一部分。”

免责声明:本页面信息可能来自第三方,不代表 Gate 的观点或意见。页面显示的内容仅供参考,不构成任何财务、投资或法律建议。Gate 对信息的准确性、完整性不作保证,对因使用本信息而产生的任何损失不承担责任。虚拟资产投资属高风险行为,价格波动剧烈,您可能损失全部投资本金。请充分了解相关风险,并根据自身财务状况和风险承受能力谨慎决策。具体内容详见声明

相关文章

OpenAI 允许 ChatGPT 订阅在 Agent 平台 OpenClaw 上生效

根据 OpenAI 首席执行官 Sam Altman 于 5 月 2 日表示,ChatGPT 用户现在可以使用他们的 ChatGPT 账户登录代理平台 OpenClaw,并在该平台上直接使用他们现有的 ChatGPT 订阅。

GateNews23 分钟前

韩国金融服务委员会批准 5 月 3 日对 AI 初创公司 Upstage 的 3.81 亿美元投资

据《韩国时报》报道,5月3日,韩国金融服务委员会批准对 AI 初创公司 Upstage 的 5600 亿韩元(3.81 亿美元)投资。该资金标志着韩国国家成长基金的第二次直接投资。Upstage 成立于 2020 年,开发 AI 软件和大型 后端

GateNews24 分钟前

Gartner 预测:全球 AI 支出将在 2026 年达到 2.5 万亿美元,超过此前十年的总计

根据 Gartner 预测,2026 年全球人工智能支出预计将达到 25 万亿美元,超过过去十年合计总额。

GateNews1小时前

Cerebras 计划在 IPO 中筹集 $4 十亿美元,目标估值为 400 亿美元

据 Bloomberg 报道,AI 芯片制造商 Cerebras Systems 正寻求在其首次公开募股中筹集最高 400 亿美元,目标估值约为 400 亿美元。该总部位于加利福尼亚的公司计划最早于周一(5 月 5 日)启动 IPO 路演。承销商将

GateNews3小时前

学院董事会在第 99 届奥斯卡禁用 AI 内容,强制只允许人类获奖

美国电影艺术与科学学院(The Academy of Motion Picture Arts and Sciences)已为第 99 届奥斯卡制定了严格的新规章,正式禁止在最高奖项类别中使用由 AI 生成的内容,以保护人的创造力。 要点: 学院董事会在第 99 届奥斯卡中禁止使用 AI,要求表演等环节采用仅限真人署名的规定,requiring human-only billing for acting an

Coinpedia3小时前
评论
0/400
暂无评论