Gate 新闻消息，4 月 29 日——AI 研究员 Aran Komatsuzaki 通过将 Rich Sutton 的奠基性论文《The Bitter Lesson》翻译成九种语言，并将其交由 OpenAI、Gemini、Qwen、DeepSeek、Kimi 和 Claude 的分词器进行处理，对六个主要 AI 模型的分词效率进行了对比分析。研究以在 OpenAI 上使用英文版本的分词数量作为基准 (1x)，结果显示出显著差异：在 Claude 上处理相同内容需要的代币（tokens）为 1.65 倍，而在 OpenAI 上仅为 1.15 倍。印地语在 Claude 上的结果更为极端，较基准高出超过 3 倍。在所测试的六个模型中，Anthropic 的表现最低。
关键在于，当相同的中文文本在不同模型中进行处理——且都以同一个英文基准来衡量——结果出现了惊人的分歧：Kimi 消耗的代币仅为 0.81 倍 (，甚至比英文还少)；Qwen 为 0.85 倍；而 Claude 需要 1.65 倍。这个差距揭示的是纯粹的分词效率问题，而非语言本身的问题。中文模型在处理中文时展现出更高的效率，这表明差异源于分词器的优化，而不是语言属性。
对用户而言，其实际影响相当可观：代币消耗的增加会直接推高 API 成本，延长模型响应延迟，并更快耗尽上下文窗口。分词效率取决于模型训练数据的语言构成——如果模型主要在英文数据上训练，那么对英文文本的压缩会更高效；而数据代表性较低的语言，则会被分割成更小、效率更低的片段。
Komatsuzaki 的结论强调了一个基础原则：市场规模决定分词效率。更大的市场往往带来更好的优化；而在市场中代表性不足的语言，将面临显著更高的代币成本。
免责声明：本页面信息可能来自第三方，不代表 Gate 的观点或意见。页面显示的内容仅供参考，不构成任何财务、投资或法律建议。Gate 对信息的准确性、完整性不作保证，对因使用本信息而产生的任何损失不承担责任。虚拟资产投资属高风险行为，价格波动剧烈，您可能损失全部投资本金。请充分了解相关风险，并根据自身财务状况和风险承受能力谨慎决策。具体内容详见
声明。
相关文章
Solana 为 AI 机器经济打造支付通道，基金会主席刘在 Consensus 2026 上表示
在 2026 年 Consensus Miami 上，Solana 基金会主席 Lily Liu 认为，像 Western Union 这样的公司采用稳定币，证明了 Solana 在人类与机器经济两大领域中的金融基础设施角色。
GateNews15 分钟前
台指站稳四万点、美股再创新高，但 AI 产业才刚进入早期阶段？
高盛指出，AI 需求将因消费型 agent 工作负载大幅提升代币消耗，到 2030 年增长或将超过 12 倍，每月代币运算可达 60 兆；非 agent 与 consumer agent 的差别在于长时间自动化任务，若成真 AI 将进入 agentic 工作流程。Larry Fink 表示算力供给严重短缺，未来或将出现算力期货，两者共同支撑 AI 基础建设的多头论；文章认为 AI 仍处于早期阶段。
鏈新聞abmedia25 分钟前
九大云服务提供商上调 2026 年资本支出（Capex）指引至 8300 亿美元
据 TrendForce 称，九家主要云服务提供商——Google、Amazon Web Services、Meta、Microsoft、Oracle、ByteDance、Tencent、Alibaba 和 Baidu——已将其合计 2026 年资本开支指引上调至约 8300 亿美元，因强劲的 AI 需求所推动。同比增长率 r
GateNews28 分钟前
韩国将于 5 月 22 日起启动 $412M 基金，面向 AI 和高科技领域
据韩联社报道，韩国政府将于 5 月 22 日至 6 月 11 日推出一项 6000 亿韩元（4.12 亿美元）的基金，以为人工智能及其他高科技领域的企业提供更多贷款。该基金将支持人工智能、可充电电池、氢能、生物技术及相关领域的企业
GateNews28 分钟前
中国科技股假期后上涨 9.2%，在 AI 股票带领反弹中领涨
据彭博报道，随着假期结束后恢复交易，中国科技股大幅上涨，STAR 50 指数一度上涨 9.2%，创下历史新高。上证综指上涨最多 1.2%，而创业板指数上涨 3.7%，由半导体相关兴趣的重新点燃所带动，并且
GateNews38 分钟前
Moonshot AI 融资 20 亿美元，估值飙升至 2,000 亿美元以上
据 Odaily 和 LatePost 称，Kimi（Moonshot AI）计划完成一轮 20 亿美元的融资，融资后估值超过 2000 亿美元，由美团龙珠领投。本轮融资还包括中国移动和 CPE（中国中信产业基金）等参与方，其中龙珠单方 i
GateNews46 分钟前
