Gate News 消息，4月24日——DeepSeek 的 V4 技术报告显示，V4-Flash 和 V4-Pro 分别在 32T 和 33T token 上进行了预训练，相较于 V3 使用的约 15T token 翻了一倍。该报告承认在训练过程中遇到了“显著的不稳定性挑战”，损失尖峰反复出现，是由于 Mixture-of-Experts (MoE) 层中的异常；路由机制本身会加剧这些异常，而简单的回滚也无法解决问题。
DeepSeek 目前已落地到实际训练中的两项解决方案：预判式路由（Anticipatory Routing），它将路由索引计算与骨干网络更新解耦，并仅在检测到损失尖峰时自动触发 (增加约 20% 的开销)，以及 SwiGLU 夹持（SwiGLU Clamping），通过直接将激活值夹持到固定范围来抑制异常。报告称这两种方案都有效，但承认“底层原理仍未被充分理解”。
Susan Zhang（谷歌 DeepMind 研究员，曾在 Meta AI 和 OpenAI 工作）评论称，由于训练数据翻倍所触发的不稳定性“解释了延迟”。她将这两种解决方案描述为“补丁（band-aids）”，同时也承认了 DeepSeek 的技术透明度。
免责声明：本页面信息可能来自第三方，不代表 Gate 的观点或意见。页面显示的内容仅供参考，不构成任何财务、投资或法律建议。Gate 对信息的准确性、完整性不作保证，对因使用本信息而产生的任何损失不承担责任。虚拟资产投资属高风险行为，价格波动剧烈，您可能损失全部投资本金。请充分了解相关风险，并根据自身财务状况和风险承受能力谨慎决策。具体内容详见
声明。
相关文章
IREN 通过全股票交易以 $625M 收购 Mirantis，以扩展 AI 云平台
根据 BlockBeats，IREN Limited 同意在 5 月 5 日以全股票交易方式，斥资约 6.25 亿美元收购云基础设施软件公司 Mirantis。此次收购旨在通过引入软件和编排能力来增强 IREN 的 AI 云能力，从而
GateNews4小时前
Anthropic 首席执行官：美国拟考虑简化 AI 模型发布流程，竞争对手落后 1-3 个月
据金十报道，Anthropic 的首席执行官在 5 月 5 日透露，美国政府似乎正在考虑简化发布人工智能模型的流程。该 CEO 指出，其他主要 AI 实验室的能力可能会落后于 Anthropic 1 到 3
GateNews4小时前
SGLang 团队在 $100M 估值完成 $400M 种子轮融资，Accel 领投
据 Beating 称，开源推理引擎 SGLang 的团队已正式成立 RadixArk，并在 4 亿美元的投后估值下完成了一轮 1 亿美元的种子轮融资。Accel 领投该轮，Spark Capital 作为联合领投方参与投资。半导体领域的竞争对手 Nvidia（通过
GateNews5小时前
OpenAI 向 8,000 名开发者提供在 6 月 5 日之前将 Codex 速率限制提高 10 倍
据 Beating 称，OpenAI 向在旧金山报名参加 GPT-5.5 线下活动的 8,000 多名开发者发送了邮件，为他们提供 Codex 速率限制提升 10 倍的奖励，自即日起至 6 月 5 日生效。所有申请者都会获得该奖励，无论他们是否收到了活动邀请。
GateNews5小时前
OpenAI 与 Anthropic 的合资/联合安排正洽谈收购三家 AI 服务公司，时间为 5 月 5 日
据 Jin 10 称，OpenAI 与 Anthropic 的合资公司正在与 5 月 5 日收购三家 AI 服务公司洽谈。据悉，这些目标公司包括专注工程的 AI 服务公司
GateNews5小时前
Anthropic 周二推出 10 个面向金融服务的 AI 代理
Anthropic 周二推出了 10 个新的 AI 代理软件，旨在处理金融服务任务，包括起草客户会议演示文稿、审阅财务报表，并将案件升级以供合规审查。该软件面向银行、保险、资产管理和 fintech 领域的专业人士。
GateNews5小时前
