新研究称 AI 模型使用成本受不同语种影响，Token 消耗量最高可相差 17 倍

人工智能语言公平研究联盟发布的一项研究发现，AI 模型处理不同语言时消耗的 Token 数量相差悬殊，最高可相差 17 倍。这种被称为“分词器税”的现象不仅推高了非英语及主流语言用户的服务使用成本，还会导致响应变慢、上下文内容减少并限制参与 AI 经济的机会。专家指出，根本问题在于缺乏高质量数字化数据，AI 实验室需要专门改进下一代分词器的设计以缩小差距。