研究称AI模型Token消耗量随语种最高相差17倍

人工智能语言公平研究联盟发布的研究发现，AI 模型处理不同语言时 Token 消耗量最多可相差 17 倍，使用人数较少的语言用户需承担更高的隐性“分词器税”。Token 消耗增加还会拖慢响应速度、压缩有效上下文容量；研究者认为改善多语言数据质量并专门优化下一代分词器设计是缩小差距的关键。