AI“分词器税”可使部分语言使用成本最高相差17倍
CLEAR研究联盟报告指出，主流AI模型分词器偏向英语及高资源语言，同一内容在部分非英语语言中消耗更多Token，不同语言差距最高达17倍，并推高成本、增加延迟、压缩上下文容量。
AI“分词器税”可使部分语言使用成本最高相差 17 倍
CLEAR 研究联盟发布报告指出，主流 AI 模型的分词器对英语及高资源语言优化明显，导致部分非英语语言处理相同内容时消耗更多 Token。例如，同一句话英语需要 13 个 Token，马拉雅拉姆语需要 26 个，阿姆哈拉语则高达 78 个。研究覆盖约 200 种语言，发现不同语言的 Token 消耗差距最高达 17 倍。这不仅推高用户使用成本，还会增加响应延迟、压缩有效上下文容量。
Rest of World ｜ Clear
https://clear-languages.org/blog/the-tokenizer-tax
