研究称AI模型使用成本受语种影响 消耗量相差17倍

人工智能语言公平研究联盟发布的一项研究显示，AI 模型处理不同语言时消耗的 Token 数量最高可相差 17 倍。专家称，这种“分词器税”现象推高了非英语及主流语言用户的服务使用成本，并导致响应变慢、上下文减少，根本问题在于缺乏高质量数字化数据，AI 实验室需要改进分词器设计以缩小差距。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。