AI 研究者 Aran Komatsuzaki 近日在 X 平台发布一項实验分析，曝光主流大型语言模型 (LLM) 的分詞器 (tokenizer) 存在嚴重的「非英语语言稅 (non-English tax)」问題。其中 Anthropic 旗下 Claude 模型对中日韓语言的素材甚至需消耗高达將近三倍的 token，引发社群议論。
实验方法：用一篇经典論文量化语言成本差距
Komatsuzaki 以经典文章《The Bitter Lesson》为素材，將其翻譯成中文、印地语、阿拉伯语、韓语、日语等多種语言，再分別送入各大模型的 tokenizer 计算 token 消耗數量。实验以 OpenAI 英文版本为基準 (1.0×)，透过標準化倍率比较各模型对不同语言的處理效率。
Token 數量直接決定 API 使用费用与回应延遲，token 越多代表成本越高、速度越慢，因此 tokenizer 的效率差異，实际上就是使用者荷包与使用體验的差距。
Komatsuzaki 也附上了他自己设计，能计算 token 用量的網站：
AI 也有種族歧視？Claude 语言稅最高，印地语首当其衝
OpenAI vs. Anthropic 逐语言 Token 消耗倍率长條圖
數據顯示，OpenAI 各语言的 token 倍率普遍控制在 1.4× 以內，而 Anthropic (Claude) 的差距則極为顯著：
印地语：3.24× (Claude) vs. 1.37× (OpenAI)
阿拉伯语：2.86× (Claude) vs. 1.31× (OpenAI)
俄语：2.04× (Claude) vs. 1.31× (OpenAI)
中文：1.71× (Claude) vs. 1.15× (OpenAI)
換言之，一名印度开发者若使用 Claude 的 API 處理印地语內容，实际支付的费用可能是同樣英文任務的三倍以上，且回应速度也会因 token 數膨脹而顯著下降。
六大模型橫向比较：中国本土模型反超、Gemini 表现最佳
六大模型跨语言 Token 消耗倍率熱力圖
Komatsuzaki 随后发布的貼文进一步擴大比较範圍，納入 Gemini 3.1、Qwen 3.6、DeepSeek V4、Kimi K2.6 等模型，結果顯示：
Gemini 3.1：1.22× (对非英语用戶最友善)
Qwen 3.6：1.23×
OpenAI：1.33×
DeepSeek V4：1.49×
Kimi K2.6：1.76×
Anthropic：2.07× (对非英语用戶最不友善)
數據能看出，中文在 Qwen (0.85×)、DeepSeek (0.87×)、Kimi (0.81×) 上的 token 消耗則低於英文基準，顯示中国本土模型已針对中文进行深度優化。Komatsuzaki 本人則在回覆中坦言：「我沒想到 Claude 如此糟糕且不平衡。」
社群擔憂：「成本落差」是 AI 普及化过程的嚴重问題
实验結果在 X 社群中引发強烈共鳴，許多非英语开发者表示，在实际使用中，相同的中文或韓文文件用 Claude 處理，费用確实远高於 Gemini。
討論也延伸至技術根因：tokenizer 的效率差異主要源於訓練资料以英语內容及拉丁文字为主，導致模型对其他文字系统的理解程度较低，每个字元或詞彙需要消耗更多 token。即便全球印地语使用者多达數亿人，但相对稀少的高品质訓練素材加上形態複雜的文字結構，使其成为 AI 使用成本最高的族群。
部分網友則认为，Anthropic 的主要客群偏向英语企业用戶与程式碼开发场景，因此对多语言優化缺乏动力，反觀 OpenAI 則较擅长處理语言內容，直言：「AI 本应是民主化的平等技術，但非英语使用者卻在为语言歧視买單。」
如今，这场圍繞 tokenizer 设计的爭议，已不只是技術问題，更反映出 AI 产业在全球擴張过程中的失衡。
这篇文章 Claude 会收语言稅？研究曝翻譯中日韓內容消耗最多近三倍 token 最早出现於 链新聞 ABMedia。
相关快讯
